[논문 리뷰] Generalization in multitask deep neural classifiers: a statistical physics approach

Tyler Lee, Anthony Ndirango|arXiv (Cornell University)|2019. 10. 30.

Neural Networks and Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 소프트맥스 출력과 크로스 엔트로피 손실을 갖는 다중 작업 딥 네ural 네트워크 분류기에서 일반화를 연구하기 위해 통계역학 기반의 분석 프레임워크를 개발한다. 다중 작업 학습은 작업 간 관련성이 높고 노이즈가 적을 경우 일반화를 향상시키지만, 작업 간 관련성이 없거나 노이즈가 많을 경우 성능을 떨어뜨릴 수 있으며, 이론적 예측은 선형 및 비선형 아키텍처 전반에서 광범위한 수치 실험을 통해 검증된다.

ABSTRACT

A proper understanding of the striking generalization abilities of deep neural networks presents an enduring puzzle. Recently, there has been a growing body of numerically-grounded theoretical work that has contributed important insights to the theory of learning in deep neural nets. There has also been a recent interest in extending these analyses to understanding how multitask learning can further improve the generalization capacity of deep neural nets. These studies deal almost exclusively with regression tasks which are amenable to existing analytical techniques. We develop an analytic theory of the nonlinear dynamics of generalization of deep neural networks trained to solve classification tasks using softmax outputs and cross-entropy loss, addressing both single task and multitask settings. We do so by adapting techniques from the statistical physics of disordered systems, accounting for both finite size datasets and correlated outputs induced by the training dynamics. We discuss the validity of our theoretical results in comparison to a comprehensive suite of numerical experiments. Our analysis provides theoretical support for the intuition that the performance of multitask learning is determined by the noisiness of the tasks and how well their input features align with each other. Highly related, clean tasks benefit each other, whereas unrelated, clean tasks can be detrimental to individual task performance.

연구 동기 및 목표

• 다중 작업 딥 네ural 네트워크 분류기, 특히 소프트맥스 출력과 크로스 엔트로피 손실을 고려한 일반화를 이해하기 위한 이론적 프레임워크를 개발하는 것.
• 이전에 회귀 작업에 국한되어 있던 기존의 통계역학 접근법을 비선형 분류 문제로 확장하는 것.
• 작업 간 관련성과 신호 대 노이즈 비율(SNR)이 다중 작업 학습 성능에 미치는 영향을 조사하는 것.
• 선형 및 ReLU 기반 네트워크에서의 광범위한 수치 실험을 통해 이론적 예측을 검증하는 것.
• 다중 작업 학습이 다중 클래스 분류에서 일반화를 향상시키거나 악화시키는 조건을 명확히 하는 것.

제안 방법

• 비순차 시스템의 통계역학 기법을 응용하여 딥 네ural 네트워크의 비선형 일반화 동역학을 모델링한다.
• 공유된 트렁크와 작업별 헤드를 갖는 학생-선생 프레임워크를 도입하여 다중 작업 학습을 모델링한다.
• 신호 대 노이즈 비율(SNR)과 작업 표현 간 상관관계와 같은 순서 매개변수를 사용해 일반화 오차와 다중 작업 이점에 대한 분석식을 유도한다.
• 보조 작업으로부터의 성능 향상을 정량화하기 위해 다중 작업 이점 지표 $MT_{A\leftarrow B}$ 를 도입한다.
• 유한한 데이터셋 크기와 상관된 출력을 고려하기 위해 자기일관성 평균장 방법을 적용한다.
• 제어된 작업 간 관련성과 SNR를 갖는 합성 데이터에서의 학습 결과와 이론적 예측을 대조하여 검증한다.

실험 결과

연구 질문

• RQ1 소프트맥스 출력을 갖는 딥 네ural 네트워크 분류기에서 다중 작업 학습은 일반화에 어떤 영향을 미치는가?
• RQ2 학습된 표현의 단일 벡터 간 각도로 정의되는 작업 간 관련성은 다중 작업 이점에 어떤 역할을 하는가?
• RQ3 보조 작업과 주 작업의 신호 대 노이즈 비율(SNR)은 성능 향상 또는 저하에 어떻게 영향을 미치는가?
• RQ4 다중 작업 학습이 분류 작업에서 일반화를 향상시키거나 악화시키는 조건은 무엇인가?
• RQ5 통계역학에서 유도된 이론적 예측은 다중 작업 환경에서 딥 네ural 네트워크의 일반화 역학을 정확히 기술할 수 있는가?

주요 결과

• 보조 작업이 주 작업과 높은 관련성이 있고 높은 SNR를 가질 경우 다중 작업 이점 $MT_{A\leftarrow B}$ 가 최대가 된다. 이는 작업 표현 간 상관계수 $r_{AB}$ 로 측정된다.
• 상관계수 $r_{AB} > 0$ 인 경우, 보조 작업 $\hat{\boldsymbol{s}}_B$ 의 SNR 를 높일수록 학습된 특징의 정렬도 향상되어 다중 작업 이점이 증가한다.
• 보조 작업의 SNR 가 매우 높을 경우($\|\hat{\boldsymbol{s}}_B\| \gg 1$), 다중 작업 이점 $MT_{A\leftarrow B}$ 는 0으로 수렴하여 수익 감소 또는 악성 전이의 가능성을 시사한다.
• $r_{AB}$ (작업 간 관련성) 를 높일수록 $MT_{A\leftarrow B}$ 는 일관되게 증가하며, 특히 고 SNR 영역에서 이는 관련성이 지식 전이를 향상시킴을 확인한다.
• 무한대의 훈련 데이터($N_{\text{data}} \to \infty$) 에서 다중 작업 이점은 0으로 수렴한다. 일반화 오차와 훈련 손실이 동일해지기 때문이다.
• 수치 실험 결과는 선형 및 ReLU 네트워크 전반에서 이론적 예측을 확인하였으며, 관련성 있고 깨끗한 작업은 성능을 향상시키지만, 관련성이 없거나 노이즈가 많은 작업은 성능을 떨어뜨린다.