[논문 리뷰] Squared Earth Mover's Distance-based Loss for Training Deep Neural Networks

Le Hou, Chen-Ping Yu외 1명|arXiv (Cornell University)|2016. 11. 17.

Machine Learning and Data Classification참고 문헌 33인용 수 95

한 줄 요약

이 논문은 단일 레이블 분류 작업에서 클래스 간 관계(예: 순서 또는 유사성)를 명시적으로 모델링함으로써 딥 네ural 네트워크 성능을 향상시키기 위해 정확한 제곱 지구이동거리(EMD²) 기반의 새로운 손실 함수를 제안한다. 클래스 간 관계에 대한 사전 지식 없이도 CNN 특징에서 지름길 거리 행렬을 자가 지도 방식으로 학습하는 방법을 도입하여, 연령 추정 및 이미지 미학 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 상대적으로 약한 클래스 간 구조를 가진 데이터셋으로도 일반화가 안정적으로 이루어짐을 보여준다.

ABSTRACT

In the context of single-label classification, despite the huge success of deep learning, the commonly used cross-entropy loss function ignores the intricate inter-class relationships that often exist in real-life tasks such as age classification. In this work, we propose to leverage these relationships between classes by training deep nets with the exact squared Earth Mover's Distance (also known as Wasserstein distance) for single-label classification. The squared EMD loss uses the predicted probabilities of all classes and penalizes the miss-predictions according to a ground distance matrix that quantifies the dissimilarities between classes. We demonstrate that on datasets with strong inter-class relationships such as an ordering between classes, our exact squared EMD losses yield new state-of-the-art results. Furthermore, we propose a method to automatically learn this matrix using the CNN's own features during training. We show that our method can learn a ground distance matrix efficiently with no inter-class relationship priors and yield the same performance gain. Finally, we show that our method can be generalized to applications that lack strong inter-class relationships and still maintain state-of-the-art performance. Therefore, with limited computational overhead, one can always deploy the proposed loss function on any dataset over the conventional cross-entropy.

연구 동기 및 목표

• 실세계 분류 작업에서 순서나 유사성과 같은 상호 클래스 관계를 忽시하는 교차 엔트로피 손실의 한계를 해결하기 위해.
• 클래스 이질성 반영 지름길 거리 행렬에 따라 잘못된 예측에 벌점을 주는, 미분 가능한 정확한 EMD² 기반 손실 함수를 개발하기 위해.
• CNN 특징에서 지름길 거리 행렬을 엔드 투 엔드로 학습함으로써, 수작업 또는 외부 사전 지식이 필요 없는 클래스 간 관계에 대한 사전 설정 없이 학습 가능하게 하기 위해.
• 약하거나 전혀 존재하지 않는 본질적 상호 클래스 관계를 가진 데이터셋으로도 일반화가 잘 되며 성능을 유지하거나 향상시키는지 입증하기 위해.
• 보조 속성 없이 이미지 데이터만을 사용하여 Adience, AADB, ImageNet 등의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 클래스 간 이질성은 지름길 거리 행렬에 코딩된 바, 예측된 클래스 확률을 참값의 one-hot 분포로 변환하는 데 필요한 최소 비용을 측정하기 위해 정확한 제곱 지구이동거리(EMD²)를 손실 함수로 사용한다.
• 클래스가 순서가 있을 경우 EMD² 계산을 위한 닫힌 형태의 해를 활용하여 손실 함수를 통해 효율적인 역전파를 가능하게 한다.
• CNN의 자체 클래스 중심점 특징 표현을 사용해 백프로파게이션 중에 지름길 거리 행렬을 학습하는 자가 지도 학습 전략을 제안한다.
• 추정된 거리 행렬을 기반으로 한 EMD²에 기반한 정규화 항을 도입하며, 추가 하이퍼파rameter 없이 반복적으로 업데이트된다.
• 최종 완전 연결층에서 추출한 클래스 중심점 특징 간의 쌍별 L2 거리로 지름길 거리 행렬을 계산한다.
• 연속 레이블을 박스로 분할하여 회귀 기반 베이스라인과 비교할 수 있도록 분류 및 회귀 스타일 데이터셋 모두에 적용한다.

실험 결과

연구 질문

• RQ1 정확한 EMD² 기반 손실 함수가 상호 클래스 관계를 모델링함으로써 단일 레이블 분류에서 딥 러닝 성능을 향상시킬 수 있는가?
• RQ2 클래스 간 관계에 대한 사전 지식 없이도 CNN 특징에서 지름길 거리 행렬을 효과적으로 학습할 수 있는가?
• RQ3 자기 지도적 EMD² 정규화는 순서가 약하거나 전혀 없는 상호 클래스 관계를 가진 데이터셋(예: ImageNet)으로 일반화되는가?
• RQ4 순서가 있거나 연속적인 레이블을 가진 데이터셋에서 EMD² 손실이 교차 엔트로피 및 L2 회귀 손실과 비교해 성능 면에서 어떻게 나타나는가?
• RQ5 강한 상호 클래스 순서가 없는 데이터셋에서 학습된 거리 행렬이 임의의 관계를 캡처하지는 않는가?

주요 결과

• Adience 연령 추정 데이터셋에서, 제안된 EMD² 손실은 8개의 VGG-F 네트워크 앙상블을 사용해 스피어만의 ρ를 0.6889로 기록하여 이전 최신 기술 수준의 성능을 초월했다.
• AADB 이미지 미학 데이터셋에서, EMD² 기반 방법은 오직 이미지 데이터만을 사용해 스피어만의 ρ를 0.6889로 기록했으며, 11개의 추가 속성 레이블을 사용한 이전 최신 기술 수준의 모델을 뛰어넘었다.
• 자기 지도적 EMD² 정규화 방법은 참값 지름길 거리 행렬을 사용한 EMD² 손실과 비교해 유사한 성능을 달성하여, 클래스 간 관계를 효과적으로 엔드 투 엔드로 학습함을 입증했다.
• ImageNet ILSVRC 2012에서, 메서드는 교차 엔트로피 손실과 유사한 성능를 유지했으며, 쌍별 거리의 표준편차(SDD)가 0.00614로 나타나 상호 클래스 관계가 약하다는 것을 보여주었고, 성능 저하 없이 안정성을 확보했다.
• 이상의 연령 추정 및 미학 데이터셋에서, 교차 엔트로피 및 L2 회귀 기반 베이스라인보다 유의미하게 뛰어난 성능을 보였으며, 이전 최신 기술 수준 대비 스피어만의 ρ에서 최대 0.0682의 향상이 있었다.
• 학습된 지름길 거리 행렬은 순서가 있는 데이터셋(예: 연령, 미학)에서 의미 있는 클래스 간 관계를 효과적으로 포착했고, 상호 클래스 순서가 약한 데이터셋인 ImageNet과 같이 약한 관계를 가진 데이터셋에서는 부자연스러운 구조를 피하는 데 성공했다.