[논문 리뷰] Deep Multi-Task Learning via Generalized Tensor Trace Norm

Yi Zhang, Yu Zhang외 1명|arXiv (Cornell University)|2020. 02. 12.

Tensor decomposition and applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 깊이 있는 다중 작업 학습을 위한 일반화된 텐서 트레이스 노름(GTTN)을 제안하며, 모든 가능한 낮은 질서 구조를 다각도로 펼친 텐서의 행렬 트레이스 노름 조합을 통해 매개변수 텐서 내의 모든 가능한 낮은 질서 구조를 포괄한다. 이는 이러한 펼침들에 대한 최적의 조합 가중치를 학습함으로써 자동으로 중요도 추정을 가능하게 하며, 실제 데이터셋에서 기존 텐서 트레이스 노름보다 향상된 성능을 달성한다.

ABSTRACT

The trace norm is widely used in multi-task learning as it can discover low-rank structures among tasks in terms of model parameters. Nowadays, with the emerging of big datasets and the popularity of deep learning techniques, tensor trace norms have been used for deep multi-task models. However, existing tensor trace norms cannot discover all the low-rank structures and they require users to manually determine the importance of their components. To solve those two issues together, in this paper, we propose a Generalized Tensor Trace Norm (GTTN). The GTTN is defined as a convex combination of matrix trace norms of all possible tensor flattenings and hence it can discover all the possible low-rank structures. In the induced objective function, we will learn combination coefficients in the GTTN to automatically determine the importance. Experiments on real-world datasets demonstrate the effectiveness of the proposed GTTN.

연구 동기 및 목표

• 기존 텐서 트레이스 노름이 가능한 텐서 펼침의 부분집합만을 사용함으로써 일부 낮은 질서 구조를 누락하는 한계를 해결하기 위해.
• 기존 방법에서 모든 텐서 펼침에 대해 동일한 중요도를 가정함으로써 초래되는 열등한 성능을 극복하기 위해.
• 다양한 텐서 펼침의 중요도를 데이터 기반 조합 계수를 통해 자동으로 학습하는 통합 정규화 프레임워크를 개발하기 위해.
• 학습된 낮은 질서 구조에 기여하는 텐서 축 또는 펼침이 무엇인지 밝혀내어 모델의 해석 가능성 향상을 위해.
• GTTN의 이론적 분석을 제공하여 이중 노름과 일반화 경계를 포함한 실용적 사용을 뒷받침하기 위해.

제안 방법

• p-방향 매개변수 텐서의 모든 가능한 텐서 펼침에 대한 행렬 트레이스 노름의 볼록 조합으로 GTTN을 정의한다.
• GTTN의 조합 계수를 최적화 목표 함수를 통해 학습 가능한 파라미터로 간주하며, 정규화와 작업 특화 손실 간의 균형을 이루도록 한다.
• p-방향 텐서를 행렬로 재구성할 수 있는 2^p - 2가지의 가능한 방식을 고려하는 텐서 펼침 전략을 사용하며, 서로 다른 트레이스 노름을 가진 2^{p-1} - 1개의 고유한 경우에 집중한다.
• GTTN과 작업 특화 손실을 포함한 정규화된 목표 함수로 최적화 문제를 설정함으로써 딥 러닝 모델에서 엔드 투 엔드 학습이 가능하도록 한다.
• GTTN의 이중 노름을 분석하고 일반화 경계를 유도하여 이론적 보장을 지원한다.
• 이를 다양한 실제 데이터셋(ImageCLEF, Office-31, Office-Home, Office-Caltech10)에 구현 및 평가하며, 다양한 레이어(pool5, fc7)의 특징을 사용한다.

실험 결과

연구 질문

• RQ1 모든 가능한 텐서 펼침을 포함하는 일반화된 텐서 트레이스 노름이 기존 텐서 트레이스 노름보다 더 포괄적인 낮은 질서 구조를 포착할 수 있는가?
• RQ2 텐서 펼침의 조합 계수를 학습하는 것이 모든 구성 요소에 동일한 중요도를 가정하는 것보다 더 나은 성능을 내는가?
• RQ3 학습된 조합 계수는 다중 작업 학습 문제에서 가장 관련성이 높은 텐서 축 또는 구조적 패턴을 이해하는 데 통찰을 제공할 수 있는가?
• RQ4 GTTN의 계산 복잡도는 텐서 순서에 따라 어떻게 증가하는가? 실질적인 딥 러닝 응용에 대해 실현 가능한가?
• RQ5 실제 벤치마크에서 최신 기술 대비 GTTN의 일반화 성능은 어떠한가?

주요 결과

• GTTN은 ImageCLEF, Office-31, Office-Home, Office-Caltech10 데이터셋에서 최신 기술 대비 다수의 다중 작업 학습 베이스라인보다 뛰어난 성능을 보이며 일관된 성능 향상을 입증한다.
• GTTN에서 학습된 조합 계수(α)는 데이터셋과 학습 비율에 따라 변동하며, 이는 다양한 텐서 펼침의 중요도가 데이터에 따라 달라짐을 시사한다.
• fc7 특징과 λ=0.25를 사용한 ImageCLEF 데이터셋에서, θ=0.5, 0.6, 0.7일 때 각각 α 값은 0.3718, 0.2154, 0.4128로 나타나 학습 데이터에 동적으로 적응함을 보여준다.
• fc7 특징과 λ=0.65를 사용한 Office-31 데이터셋에서, θ=0.7일 때 α 값은 0.3279, 0.2399, 0.4322로 변화하며, 데이터 가용성에 따라 구조적 중요도가 변화함을 반영한다.
• 모든 테스트된 데이터셋과 특징 레이어에서 GTTN이 최고의 성능를 기록하여 다양한 낮은 질서 구조를 포괄할 수 있음을 확인한다.
• 이론적 분석을 통해 GTTN이 잘 정의된 이중 노름과 일반화 경계를 가짐을 확인하여 통계적 학습에서의 활용 가능성을 뒷받침한다.