[논문 리뷰] Label Embedding Network: Learning Label Representation for Soft Training of Deep Networks

Xu Sun, Bingzhen Wei외 2명|arXiv (Cornell University)|2017. 10. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 31

한 줄 요약

이 논문은 백프로파게이션을 통해 딥 네트워크 훈련 중 연속적이고 해석 가능한 레이블 표현을 학습하는 Label Embedding Network를 제안한다. 기존의 원핫 레이블을 소프트하고 분포된 표현으로 대체함으로써 모델의 정확도, 수렴 속도, 내성 강도를 향상시킨다. 이 방법은 유사 레이블 간의 의미적 상호작용을 가능하게 하여 이미지 및 텍스트 작업에서 최신 기준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

We propose a method, called Label Embedding Network, which can learn label representation (label embedding) during the training process of deep networks. With the proposed method, the label embedding is adaptively and automatically learned through back propagation. The original one-hot represented loss function is converted into a new loss function with soft distributions, such that the originally unrelated labels have continuous interactions with each other during the training process. As a result, the trained model can achieve substantially higher accuracy and with faster convergence speed. Experimental results based on competitive tasks demonstrate the effectiveness of the proposed method, and the learned label embedding is reasonable and interpretable. The proposed method achieves comparable or even better results than the state-of-the-art systems. The source code is available at \url{https://github.com/lancopku/LabelEmb}.

연구 동기 및 목표

• 딥 네트워크에서 원핫 레이블 인코딩의 한계를 해결하기 위해, 레이블 상관관계를 모델링할 수 없고 과적합에 취약한 점을 해결한다.
• 백프로파게이션을 통해 훈련 중에 자동으로 레이블 임베딩을 엔드 투 엔드로 학습할 수 있도록 한다.
• 학습된 압축된 레이블 임베딩을 통해 대규모 분류 작업의 메모리 비용을 줄인다.
• 모델 일반화를 향상시키기 위해 해석 가능하고 의미적으로 유의미한 레이블 표현을 생성한다.
• CNN, ResNet, 시퀀스 투 시퀀스 모델 등 다양한 아키텍처에 적용 가능한 일반적인 방법을 제공한다.

제안 방법

• 훈련 중에 각 클래스 레이블에 대해 조밀하고 연속적인 표현을 학습하는 Label Embedding Network를 도입한다.
• 표준 원핫 교차엔트로피 손실을 학습된 레이블 임베딩 기반의 소프트 손실 함수로 대체하여, 레이블 간의 연속적 상호작용을 가능하게 한다.
• 압축된 레이블 임베딩을 학습하기 위해 재파rameterization 기법을 사용하여 대규모 작업의 메모리 비용을 크게 감소시킨다.
• 백프로파게이션을 통해 네트워크 가중치와 함께 레이블 임베딩을 동시에 최적화하여 엔드 투 엔드 훈련을 가능하게 한다.
• 이미지 분류(CIFAR, MNIST) 및 시퀀스 투 시퀀스 작업(LCSTS, IWSLT2015) 모두에 소프트 레이블 손실을 적용한다.
• 최종 로짓을 학습된 레이블 임베딩 기반의 확률 분포로 해석하기 위해 소프트맥스 정규화 출력층을 사용한다.

실험 결과

연구 질문

• RQ1 훈련 중 연속적인 레이블 표현을 학습함으로써 원핫 인코딩을 초월한 딥 네트워크 성능 향상이 가능한가?
• RQ2 학습된 레이블 임베딩은 이미지 및 텍스트 작업에서 모델의 수렴 속도와 일반화에 어떤 영향을 미치는가?
• RQ3 압축된 레이블 임베딩은 대용량 어휘 작업에서 성능을 유지하면서 메모리 비용을 줄일 수 있는가?
• RQ4 학습된 레이블 임베딩은 다양한 도메인에서 의미적으로 유의미하고 해석 가능한가?
• RQ5 기준 작업에서 최신 기준 모델을 능가하거나 대등하게 성능을 내는가?

주요 결과

• LCSTS 텍스트 요약 작업에서, 이 방법은 ROUGE-1, ROUGE-2, ROUGE-L 점수 각각 31.7, 19.1, 29.1을 기록하여 베이스라인 결과보다 각각 1.6, 1.2, 1.9점 향상시켰다.
• IWSLT2015 기계 번역 작업에서, 이 방법은 BLEU 점수 26.8을 기록하여 이전 최고 성능인 26.1을 초월하며 새로운 최신 기준을 수립했다.
• 학습된 레이블 임베딩은 의미적으로 중요한 유사성을 반영했으며, 예를 들어 'đỏ'(빨간색)가 'xanh'(파란색) 및 'đen'(검은색) 등 다른 색상과 가장 유사한 것으로 나타났다.
• 표준 CNN, ResNet, Seq-to-Seq 베이스라인과 비교해 이미지(CIFAR-100, CIFAR-10, MNIST) 및 자연어 처리 작업(LCSTS, IWSLT2015) 모두에서 향상된 성능을 보였다.
• 압축된 레이블 임베딩 변형은 높은 성능를 유지하면서도 메모리 비용을 크게 감소시켜 대규모 분류 작업에 효과적임을 입증했다.
• 레이블 임베딩은 해석 가능하고 재사용 가능했으며, 더 빠른 수렴 속도와 높은 정확도를 보이는 새로운 모델의 훈련을 향상시켰다.