[논문 리뷰] Learning Less-Overlapping Representations

Pengtao Xie, Hongbao Zhang외 1명|arXiv (Cornell University)|2017. 11. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 3

한 줄 요약

이 논문은 표현 학습에서 보다 덜 겹치는 서포트를 유도하기 위해 동시에 희소성과 가까운 수직성을 촉진하는 새로운 정규화 방법인 LDD-L1을 제안한다. 신경망과 희소 코딩에 적용되었을 때, 이 방법은 모델의 해석 가능성과 일반화 능력을 향상시키며, L1 및 수직성 전용 정규화 기법보다 낮은 퍼플렉서티와 오차율을 기록하여 PTB 언어 모델링과 CIFAR-10 이미지 분류에서 최고 성능을 달성한다.

ABSTRACT

In representation learning (RL), how to make the learned representations easy to interpret and less overfitted to training data are two important but challenging issues. To address these problems, we study a new type of regulariza- tion approach that encourages the supports of weight vectors in RL models to have small overlap, by simultaneously promoting near-orthogonality among vectors and sparsity of each vector. We apply the proposed regularizer to two models: neural networks (NNs) and sparse coding (SC), and develop an efficient ADMM-based algorithm for regu- larized SC. Experiments on various datasets demonstrate that weight vectors learned under our regularizer are more interpretable and have better generalization performance.

연구 동기 및 목표

• 학습된 가중치 벡터 간의 부재를 줄임으로써 표현 학습 모델의 해석 가능성 향상.
• 학습된 표현의 구조적 복잡도를 제약하여 과적합을 줄이고 일반화 능력을 향상시키기.
• 가중치 벡터의 희소성과 가까운 수직성을 동시에 촉진하는 통합 정규화 접근법 개발.
• 제안된 정규화 기법이 다양한 모델과 데이터셋, 특히 NLP 및 이미지 분류 작업에서 효과적으로 작용하는지 입증하기.

제안 방법

• 가중치 벡터가 희소하고 상호 가까이 수직이 되도록 유도함으로써 그 서포트 간 겹침을 최소화하는 부드러운 정규화 기법인 LDD-L1을 제안한다.
• 벡터 서포트의 재결합 계수를 기반으로 한 상호 겹침 측정 지표인 '비겹침도 점수'를 정의한다.
• 개별 가중치 벡터의 희소성을 촉진하기 위해 L1 정규화를 사용하고, 서포트 겹침을 줄이기 위해 수직성 제약 조건을 적용한다.
• 정규화된 희소 코딩 문제를 해결하기 위한 효율적인 ADMM 기반 최적화 알고리즘을 개발한다.
• LDD-L1 정규화 기법을 딥 신경망과 희소 코딩 모델 양쪽에 적용하여 개선된 일반화 능력을 갖춘 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습된 가중치 벡터의 서포트 간 겹침을 줄이면 표현 학습에서 모델의 해석 가능성 향상이 가능한가?
• RQ2 가중치 벡터에 희소성과 가까운 수직성을 강제로 적용하면 테스트 데이터에 대한 일반화 능력 향상이 이루어지는가?
• RQ3 L1 및 수직성 촉진 기법과 같은 기존 정규화 기법과 비교해 볼 때, 제안된 LDD-L1 정규화 기법은 성능 면에서 어떻게 비교되는가?
• RQ4 LDD-L1 정규화 기법은 신경망과 희소 코딩 모델 양쪽에 효과적으로 적용될 수 있는가?

주요 결과

• PTB 언어 모델링 데이터셋에서 LDD-L1 정규화 기법은 테스트 퍼플렉서티를 71.1로 낮춰, 정규화되지 않은 기준 모델(72.3)과 다른 정규화 기법보다 뛰어난 성능을 보였다.
• CIFAR-10에서 LDD-L1 정규화 기법은 테스트 오차율 3.60%를 기록하여 정규화되지 않은 WideResNet(3.89%)과 L1 정규화(3.81%) 및 수직성 전용 방법들(예: AC-WideResNet 3.63%)을 모두 초월했다.
• LDD-L1 정규화 기법은 희소성 전용(L1) 및 수직성 전용 정규화 기법보다 낮은 오차율을 기록하여, 희소성과 수직성을 동시에 촉진하는 것이 우월함을 입증했다.
• 정규화된 희소 코딩을 위한 제안된 ADMM 기반 알고리즘이 효율적으로 수렴하며, 덜 겹치는 표현의 효과적인 학습을 가능하게 했다.