[논문 리뷰] Angular Visual Hardness

Beidi Chen, Weiyang Liu외 5명|arXiv (Cornell University)|2019. 12. 04.

Optical measurement and interference techniques참고 문헌 82인용 수 10

한 줄 요약

이 논문은 컨volution 네트워크(CNNs)에서 샘플의 딱딱함을 측정하기 위한 새로운 점수인 '각도 시각적 딱딱함'(AVH)을 소개한다. AVH는 특성 임bedding과 분류기 가중치 간의 정규화된 각도 거리로 측정되며, 인간의 시각적 딱딱함과 강한 상관관계를 보이고, 자기학습 및 도메인 일반화에서 기존의 신뢰도 측정법보다 우수한 성능을 보이며, 딱딱한 예제에서 보다 잘 校정된 성능을 보인다.

ABSTRACT

Recent convolutional neural networks (CNNs) have led to impressive performance but often suffer from poor calibration. They tend to be overconfident, with the model confidence not always reflecting the underlying true ambiguity and hardness. In this paper, we propose angular visual hardness (AVH), a score given by the normalized angular distance between the sample feature embedding and the target classifier to measure sample hardness. We validate this score with an in-depth and extensive scientific study, and observe that CNN models with the highest accuracy also have the best AVH scores. This agrees with an earlier finding that state-of-art models improve on the classification of harder examples. We observe that the training dynamics of AVH is vastly different compared to the training loss. Specifically, AVH quickly reaches a plateau for all samples even though the training loss keeps improving. This suggests the need for designing better loss functions that can target harder examples more effectively. We also find that AVH has a statistically significant correlation with human visual hardness. Finally, we demonstrate the benefit of AVH to a variety of applications such as self-training for domain adaptation and domain generalization.

연구 동기 및 목표

• 딥 러닝에서 결정 경계 근처의 딱딱한 예제에 대해 신뢰도가 높고 의미를 고려한 신뢰도 측정법이 부족한 문제를 해결하기 위해.
• 인간 레이블이 필요 없이 확장 가능하고, 인간의 시각적 딱딱함을 대체할 수 있는 프록시를 개발하기 위해.
• 딱딱한 예제에서의 성능 향상이 일반화 및 모델 校정 능력 향상과 인과관계가 있는지 조사하기 위해.
• 자기학습을 통한 도메인 적응 및 도메인 일반화에서 AVH의 유용성을 평가하기 위해.
• 기본적인 교차 엔트로피 손실이 각도 마진을 최적화하고 딱딱한 예제에서의 일반화를 향상시키는 데에서 가지는 한계를 탐구하기 위해.

제안 방법

• AVH는 입력의 딥 특성 임베딩과 진짜 클래스의 분류기 가중치 벡터 간의 정규화된 각도 거리로 계산된다.
• 정규화는 모든 다른 클래스들과의 각도 거리를 사용하여 수행되어, 강인성과 척도 불변성을 확보한다.
• AVH 점수는 특성 벡터와 대상 분류기 가중치 간의 코시누스 유사도에서 유도되며, 모든 다른 클래스들과의 각도 거리로 조정된다.
• AVH는 자기학습 프레임워크에서 신뢰도 프록시로 사용되며, 낮은 신뢰도를 가진 더 딱딱한 예제를 우선순위로 지정함으로써 가짜 레이블 선택을 이끈다.
• 도메인 일반화를 위한 AVH 기반 손실 함수가 제안되며, 온도 조절된 소프트맥스로 정의된다: $\mathcal{L}_{AVH} = \sum_i \frac{\exp(s(\pi - \mathcal{A}(\mathbf{x}_i, \mathbf{w}_{y_i})))}{\sum_k \exp(s(\pi - \mathcal{A}(\mathbf{x}_i, \mathbf{w}_k)))}$.
• 이 방법은 표준 CNN과 자기학습 프로토콜을 사용하여 ImageNet, PACS 및 도메인 적응 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 AVH는 소프트맥스 점수나 특성 노름과 같은 기존의 신뢰도 측정법보다 인간의 시각적 딱딱함과 더 강한 상관관계를 가지는가?
• RQ2 학습 도중 AVH는 어떻게 변화하는가? 그리고 학습 손실이 계속 감소하는 동안 조기 수렴을 나타내는 각도 정렬의 안정화가 일찍 이루어지는가?
• RQ3 자기학습을 통한 도메인 적응에서 AVH 기반 선택이 더 나은 가짜 레이블링을 통해 딱딱한 예제를 선별함으로써 성능 향상을 이끌 수 있는가?
• RQ4 AVH 기반 손실 함수는 표준 교차 엔트로피 손실에 비해 도메인 일반화 작업에서 일반화 성능을 향상시키는가?
• RQ5 딱딱한 예제에서의 성능 향상과 전체 모델 정확도 및 校정 능력 사이에 인과관계가 존재하는가?

주요 결과

• AVH 점수는 학습 초반에 이미 정점에 도달하며, 학습 손실이 계속 감소하는 동안에도 안정화됨을 보여, 각도 정렬이 노름 스케일링보다 먼저 안정화됨을 시사한다.
• 최상의 정확도를 기록한 모델들이 가장 뛰어난 AVH 점수를 보이며, 딱딱한 예제에서의 성능 향상이 일반화를 이끄는 가설을 뒷받침한다.
• AVH는 소프트맥스 점수나 특성 노름보다 인간 선택 빈도(HSF)와 통계적으로 유의미하게 더 강한 상관관계를 보이며, 인간의 시각적 딱딱함을 대체하는 데의 역할을 검증한다.
• 도메인 적응을 위한 자기학습에서 AVH 기반 선택은 평균 신뢰도가 낮은 더 많은 딱딱한 예제(0.961 vs. 0.976)를 포함시키며, 유사한 진짜 양성 비율(0.844 vs. 0.848)을 유지함으로써 보다 잘 校정된 결과를 보여준다.
• PACS 데이터셋에서, AVH 기반 손실을 사용해 훈련한 단순한 10층 CNN은 더 복잡한 기준 모델을 능가하며, 최상위 성능을 기록하거나 이를 초월한다.
• AVH 기반 손실은 딱딱한 예제에서 성능 향상을 높이며, 특히 스케치 도메인에서(61.26% 정확도) 더 뛰어난 내성적 저항성을 보여, 도메인 이동에 대한 강건성을 향상시킨다.