[논문 리뷰] Analyzing and Improving Representations with the Soft Nearest Neighbor Loss

Nicholas Frosst, Nicolas Papernot외 1명|arXiv (Cornell University)|2019. 02. 05.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 55

한 줄 요약

이 논문은 Soft Nearest Neighbor Loss를 확장하여 클래스 매니폴드의 얽힘(entanglement)을 측정하고, 이를 일반화 및 불확실성 보정의 규제항으로 사용하며, 판별 모델과 생성 모델의 표현을 분석한다.

ABSTRACT

We explore and expand the $\ extit{Soft Nearest Neighbor Loss}$ to measure the $\ extit{entanglement}$ of class manifolds in representation space: i.e., how close pairs of points from the same class are relative to pairs of points from different classes. We demonstrate several use cases of the loss. As an analytical tool, it provides insights into the evolution of class similarity structures during learning. Surprisingly, we find that $\ extit{maximizing}$ the entanglement of representations of different classes in the hidden layers is beneficial for discrimination in the final layer, possibly because it encourages representations to identify class-independent similarity structures. Maximizing the soft nearest neighbor loss in the hidden layers leads not only to improved generalization but also to better-calibrated estimates of uncertainty on outlier data. Data that is not from the training distribution can be recognized by observing that in the hidden layers, it has fewer than the normal number of neighbors from the predicted class.

연구 동기 및 목표

• Representations during learning에서 Soft Nearest Neighbor Loss를 사용하여 클래스 간 유사성 구조를 특성화한다.
• 얽힌 표현이 판별, 정규화 및 생성 모델링에 미치는 영향을 조사한다.
• 숨겨진 층의 얽힘을 최대화하면 일반화 및 불확실성 보정이 향상된다는 것을 입증한다.
• Entangled 표현이 out-of-distribution 및 적대적 데이터 처리에 미치는 영향을 평가한다.

제안 방법

• soft nearest neighbor loss를 representation space에서 얽힘을 측정하기 위해 temperature 매개변수를 도입하여 정의하고 확장한다(Equation 1).
• 얽힘 손실을 얻기 위한 temperature-minimization 접근법을 도입한다(Equation 2).
• Cross-entropy에 얽힘 손실을 규제항으로 추가하는 복합적인 학습 목표를 제시한다(Equation 3).
• 판별 학습 중 네트워크 계층 간의 얽힘 역학을 분석한다(예: CIFAR-10의 ResNet).
• 생성 모형(GANs)에 이 손실을 적용하여 실제 데이터와 합성 데이터 간의 얽힘을 측정하고 이를 조정한다.
• Entangled 대조 모델에서 Deep k-Nearest Neighbors(DkNN) 불확실성 보정을 평가한다.

실험 결과

연구 질문

• RQ1 Soft Nearest Neighbor Loss가 표현 공간에서 클래스 매니폴드의 얽힘을 어떻게 정량화하는가?
• RQ2 숨겨진 층에서 얽힘을 최대화하면 학습을 정규화하고 일반화를 향상시킬 수 있는가?
• RQ3 얽힘이 out-of-distribution 또는 적대적 데이터의 불확실성 추정치를 향상시키는가?
• RQ4 실제-합성 데이터 얽힘을 측정하여 generative 모델을 평가하고 이를 지도하는 데 얽힘을 사용할 수 있는가?
• RQ5 얽힌 표현이 전이성 및 적대적 입력에 대한 강건성에 어떤 영향을 미치는가?

주요 결과

• 숨겨진 층에서 얽힘을 최대화하면 학습을 정규화하고 데이터셋 전반에서 테스트 정확도를 약간 향상시킬 수 있다.
• 얽힌 표현은 클래스 내 데이터의 확산을 촉진하여 후반 계층에서의 판별을 돕고 out-of-distribution 분리를 개선한다.
• 얽힌 모델은 특히 out-of-distribution 및 적대적 데이터에 대해 더 잘 보정된 DkNN 불확실성 추정치를 제공한다.
• GAN은 학습 중 실제-합성 얽힘이 증가하는 경향을 보이며, 모드 커버리지는 아키텍처에 따라 다르게 나타난다.
• 얽힌 표현은 모델 간의 적대적扰动의 전이성을 줄인다.
• Out-of-sample 데이터는 얽힌 모델에서 재구분 가능성이 높아져 새로운 입력 탐지가 향상된다.