[논문 리뷰] A Geometric Perspective towards Neural Calibration via Sensitivity Decomposition

Junjiao Tian, Dylan Yung외 2명|arXiv (Cornell University)|2021. 10. 27.

Image Processing Techniques and Applications참고 문헌 27인용 수 7

한 줄 요약

이 논문은 분포 이탈 상황에서 신경망의 校정 성능을 향상시키기 위해 특성 임bedding을 개체별로 의존하는 성분과 개체별로 의존하지 않는 성분으로 분리하는 기하학적 방법인 기하학적 민감도 분해(Geometric Sensitivity Decomposition, GSD)를 제안한다. 감도 있는 입력 변화와 손실 최소화를 위한 불변 성분을 분리하도록 수정된 소프트맥스-선형 모델을 훈련시킴으로써, 이 방법은 최신 기술 수준의 성능을 달성하여 손상된 CIFAR100에서 기대 캘리브레이션 오차를 30.8% 감소시켰다.

ABSTRACT

It is well known that vision classification models suffer from poor calibration in the face of data distribution shifts. In this paper, we take a geometric approach to this problem. We propose Geometric Sensitivity Decomposition (GSD) which decomposes the norm of a sample feature embedding and the angular similarity to a target classifier into an instance-dependent and an instance-independent component. The instance-dependent component captures the sensitive information about changes in the input while the instance-independent component represents the insensitive information serving solely to minimize the loss on the training dataset. Inspired by the decomposition, we analytically derive a simple extension to current softmax-linear models, which learns to disentangle the two components during training. On several common vision models, the disentangled model outperforms other calibration methods on standard calibration metrics in the face of out-of-distribution (OOD) data and corruption with significantly less complexity. Specifically, we surpass the current state of the art by 30.8% relative improvement on corrupted CIFAR100 in Expected Calibration Error. Code available at https://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.git.

연구 동기 및 목표

• 분포 이탈 데이터나 데이터 손상 상황에서 시각 모델의 낮은 캘리브레이션 성능라는 지속적인 문제를 해결한다.
• 분포 이탈 상황에서 특성 임베딩과 분류기 간의 상호작용에 대한 기하학적 구조를 이해한다.
• 특성 노름과 각도 유사도를 개체별로 의존하는 성분과 개체별로 의존하지 않는 성분으로 분해하여 입력 변화에 대한 민감도를 분리한다.
• 감도 있는 성분과 민감하지 않은 성분을 명시적으로 분리하는 훈련 방법을 개발하여 일반화 및 캘리브레이션 성능를 향상시킨다.
• 기존 방법들과 비교해 아키텍처 및 계산 복잡도를 최소화하면서도 뛰어난 캘리브레이션 성능를 달성한다.

제안 방법

• 기하학적 원리를 활용해 샘플의 특성 임베딩 노름과 분류기와의 각도 유사도를 두 성분으로 분해하는 기하학적 민감도 분해(Geometric Sensitivity Decomposition, GSD)를 제안한다. 이 성분들은 각각 입력 변화에 민감한 성분과 변화에 무관한 성분이다.
• 기하학적 원리를 활용해 특성 벡터를 방향(개체별로 의존하지 않는 성분)과 크기(개체별로 의존하는 성분)로 분리한다.
• 감도 있는 성분과 민감하지 않은 성분을 동시에 학습할 수 있도록 새로운 손실 목표를 사용하는 수정된 소프트맥스-선형 모델을 설계한다.
• 개체별로 의존하지 않는 성분은 훈련 손실을 최소화하도록 사용하고, 개체별로 의존하는 성분은 입력에 특화된 변화를 포착한다.
• 특성 표현에서 민감도와 불변성을 분리하도록 유도하는 정규화된 목표 함수를 사용해 모델을 종합적으로 훈련한다.
• 구조적 수정 없이 표준 시각 모델에 적용 가능하며, 추론 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 특성 임베딩과 분류기 출력의 기하학적 구조는 분포 이탈 상황에서 모델의 캘리브레이션 성능 향상에 어떻게 활용될 수 있는가?
• RQ2 신경 특성 표현에서 입력 변화에 대한 민감도를 훈련 데이터 분포에 대한 불변성과 얼마나 잘 분리할 수 있는가?
• RQ3 민감도와 불변성을 분리하는 표현 학습 접근법은 최소한의 복잡성으로 OOD 및 손상된 데이터에서 더 나은 캘리브레이션 성능를 달성할 수 있는가?
• RQ4 기존의 캘리브레이션 기법과 비교해 표준 벤치마크에서 성능 및 효율성 측면에서 제안된 방법은 어떠한가?
• RQ5 개체별로 의존하는 성분과 개체별로 의존하지 않는 성분을 분리함으로써 기대 캘리브레이션 오차 및 기타 캘리브레이션 지표에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이전 최신 기술 수준 대비 손상된 CIFAR100에서 기대 캘리브레이션 오차를 30.8% 상대적으로 개선하였다.
• 분리된 모델은 OOD 및 손상된 데이터 설정에서 여러 표준 지표에서 기존의 캘리브레이션 방법들을 능가하는 성능를 보였다.
• 이 방법은 추가적인 복잡성을 최소화하여 효율성을 유지하면서도 캘리브레이션 성능를 크게 향상시켰다.
• 기하학적 분해가 입력 민감도 변화를 손실 최소화 불변성에서 성공적으로 분리하여 더 견고한 예측을 가능케 하였다.
• 모델 아키텍처 수정 없이 다양한 시각 모델에 잘 일반화되어 적용 가능하였다.
• 코드와 구현 사항이 공개되어 재현성과 기하학적 캘리브레이션 분야의 향후 연구를 가능케 하였다.