[논문 리뷰] Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers

Linfeng Ye, Zhixiang Chi외 2명|arXiv (Cornell University)|2026. 01. 05.

Advanced Neural Network Applications인용 수 0

한 줄 요약

이 논문은 NCMI를 심층 신경 분류기 학습을 위한 정보 이론적 대체 손실로 도입하고, NCMI를 최소화하는 것이 이미지 및 전체 슬라이드 영상 작업에서 일관된 정확도 향상을 가져다주며 cross-entropy에 비해 경쟁력 있는 학습 비용을 보여줌을 입증한다.

ABSTRACT

In this paper, we propose a novel information theoretic surrogate loss; normalized conditional mutual information (NCMI); as a drop in alternative to the de facto cross-entropy (CE) for training deep neural network (DNN) based classifiers. We first observe that the model's NCMI is inversely proportional to its accuracy. Building on this insight, we introduce an alternating algorithm to efficiently minimize the NCMI. Across image recognition and whole-slide imaging (WSI) subtyping benchmarks, NCMI-trained models surpass state of the art losses by substantial margins at a computational cost comparable to that of CE. Notably, on ImageNet, NCMI yields a 2.77% top-1 accuracy improvement with ResNet-50 comparing to the CE; on CAMELYON-17, replacing CE with NCMI improves the macro-F1 by 8.6% over the strongest baseline. Gains are consistent across various architectures and batch sizes, suggesting that NCMI is a practical and competitive alternative to CE.

연구 동기 및 목표

• 정보 기하학을 사용하여 DNN 분류기에 대한 cross-entropy의 즉시 대체 손실을 도입하려는 동기 부여.
• 학습 목표로서 정규화된 조건부 상호 정보량(NCMI)을 정의하고 분석한다.
• NCMI를 효율적으로 최소화하기 위한 교대 최적화 알고리즘을 제안한다.
• 자연 이미지 및 전장 슬라이드 WSIs 벤치마크에서 NCMI의 경험적 이점을 입증한다.
• NCMI를 CE 및 다른 손실과 비교했을 때 학습 효율성과 안정성을 평가한다.

제안 방법

• 분류를 마르코프 체인으로 모델링하고 concentration I(X;P|Y)와 separation Γ를 사용하여 NCMI = I(X;P|Y) / Γ를 구성한다.
• DNN 출력이 정규화 시그모이드 함수(NSF)에 의해 단순체 값 분포 p로 표현되도록 한다.
• 더미 클래스 중심 분포 q^y를 사용하는 이중 최소화 재구성으로 GPU 친화적 교대 최적화를 가능하게 한다.
• 고정된 중심 q^y를 사용하여 SGD로 네트워크 매개변수 θ를 반복적으로 업데이트하고, 같은 미니배치에서 중심을 SGD로 업데이트하며, 중심은 softmax 기반 NSF를 통해 단순체로 매핑한다.
• 단일 모드 붕괴를 방지하고 학습을 안정화하기 위해 특징 중심화 및 NSF를 도입한다.
• 교대 최적화를 위한 PyTorch 스타일 의사코드(Algorithm 1)를 제공한다.

Figure 1: Mappings from the label space $Y$ to the input space $X$ , and from the input space to a output space $\hat{Y}$ . Input $\boldsymbol{x}$ are sampled from the class $Y=y$ according to the $P_{X|Y}(\cdot|y)$ . This is further mapped by a DNN and a simplex-valued function to an output probabi

실험 결과

연구 질문

• RQ1 NCMI가 교차 엔트로피를 대체하는 DNN 분류기 학습의 실행 가능성 있는 즉시 대체 손실인가?
• RQ2 NCMI를 최소화하는 것이 출력 분포의 intra-class 집중도와 inter-class 분리도에 어떤 영향을 미치는가?
• RQ3 교대 최적화 방식이 NCMI를 비궁극적으로 최소화할 수 있도록 효율적으로 작동하는가?
• RQ4 NCMI로 학습된 모델은 아키텍처와 데이터셋(자연 이미지 및 WSI) 전반에서 일관된 성능 향상을 달성하면서 학습 효율성을 유지하는가?
• RQ5 중심화 및 NSF와 같은 구성 요소가 학습 안정성 및 성능에 어떻게 기여하는가?

주요 결과

• NCMI로 학습된 모델은 CIFAR-100, ImageNet, 및 WSI 벤치마크에서 CE 및 여러 CE 기반 대안보다 더 높은 정확도를 달성한다.
• ImageNet의 ResNet-50에서 NCMI는 CE에 비해 top-1 정확도가 2.77% 향상된다.
• CIFAR-100에서 NCMI는 여러 ResNet 백본에서 선형 탐침 및 중심 기반 예측을 개선한다.
• CAMELYON-17 및 BRACS WSIs에서 CE를 NCMI로 대체하면 선형 탐침을 사용할 때 F1 및 AUC가 향상된다.
• NCMI 학습은 SupCon보다 메모리 사용이 적고 에포크당 속도가 빠르며 더 작은 배치 크기에서도 견고한 수렴을 보인다.

Figure 2: The accuracy vs NCMI value over the validation set of pre-trained ResNet models on the ImageNet dataset.