[논문 리뷰] On Multiplicative Multitask Feature Learning

Xin Wang, Jinbo Bi외 2명|PubMed|2016. 10. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 33

한 줄 요약

이 논문은 공유된 특징과 작업별 특징을 곱셈 방식으로 분해함으로써 더 유연한 정규화를 가능하게 하는 일반적인 곱셈 다중작업 특징 학습 프레임워크를 제안한다. 이 방법은 공동 정규화와 이론적으로 동일하지만 더 넓은 형태의 정규화 함수를 허용하며, 시뮬레이션 및 실세계 데이터에서 새로운 형식인 MMTFL(2,1)과 MMTFL(1,2)을 통해 향상된 성능을 보였다.

ABSTRACT

We investigate a general framework of multiplicative multitask feature learning which decomposes individual task's model parameters into a multiplication of two components. One of the components is used across all tasks and the other component is task-specific. Several previous methods can be proved to be special cases of our framework. We study the theoretical properties of this framework when different regularization conditions are applied to the two decomposed components. We prove that this framework is mathematically equivalent to the widely used multitask feature learning methods that are based on a joint regularization of all model parameters, but with a more general form of regularizers. Further, an analytical formula is derived for the across-task component as related to the task-specific component for all these regularizers, leading to a better understanding of the shrinkage effects of different regularizers. Study of this framework motivates new multitask learning algorithms. We propose two new learning formulations by varying the parameters in the proposed framework. An efficient blockwise coordinate descent algorithm is developed suitable for solving the entire family of formulations with rigorous convergence analysis. Simulation studies have identified the statistical properties of data that would be in favor of the new formulations. Extensive empirical studies on various classification and regression benchmark data sets have revealed the relative advantages of the two new formulations by comparing with the state of the art, which provides instructive insights into the feature learning problem with multiple tasks.

연구 동기 및 목표

• 공유된 구성요소와 작업별 구성요소에 대해 더 유연한 정규화를 허용하는 일반적인 곱셈 다중작업 특징 학습 프레임워크를 개발하는 것.
• 다양한 정규화 함수 하에서 제안된 곱셈 프레임워크와 기존 공동 정규화 방법 간의 이론적 동등성을 분석하는 것.
• 공유된 구성요소와 작업별 구성요소 간의 분석적 관계를 유도하여 수축 효과를 이해하는 것.
• 특징 선택 성능 향상을 위해 비대칭 정규화(예: 하나의 구성요소에 ℓ2, 다른 하나에 ℓ1)를 적용한 새로운 다중작업 학습 형식을 설계하는 것.
• 시뮬레이션 및 실세계 데이터에서 최신 기법들과의 비교를 통해 제안된 형식의 실증적 타당성을 검증하는 것.

제안 방법

• 각 작업의 모델 파라미터를 공유된 특징 지시자 벡터와 작업별 파라미터 벡터의 원소별 곱으로 분해한다.
• 공유된 구성요소와 작업별 구성요소에 각각 다른 정규화 함수(예: ℓ1, ℓ2, ℓ∞)를 적용하여 희박성과 공유 구조를 유도한다.
• 최적의 작업별 파라미터에 대해 공유된 구성요소의 분석적 해를 유도하여 효율적인 최적화를 가능하게 한다.
• 두 가지 새로운 형식인 MMTFL(2,1)과 MMTFL(1,2)을 제안하며, 여기서 정규화 함수는 비대칭적(한 구성요소에 ℓ2, 다른 구성요소에 ℓ1)이다.
• 분석적 해를 기반으로 한 효율적인 최적화 알고리즘을 개발하여 전체 형식의 가족을 해결한다.
• 특징 공유 패턴이 알려진 시뮬레이션 데이터(예: 계단형 구조)를 사용하여, 이러한 패턴을 복원할 수 있는 능력을 검증한다.

실험 결과

연구 질문

• RQ1 제안된 곱셈 다중작업 특징 학습 프레임워크는 기존의 공동 정규화 방법과 어떤 수학적 동등성과 정규화 함수의 다양성에서 관련이 있는가?
• RQ2 다양한 정규화 함수 하에서 공유된 구성요소와 작업별 구성요소 간의 분석적 관계는 어떠한가?
• RQ3 다양한 정규화 조합(예: ℓ2와 ℓ1 조합)은 수축 행동과 특징 선택 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 클러스터링 기반 다중작업 방법이 포착하지 못하는 복잡한 특징 공유 패턴(예: 계단형 구조)을 복원할 수 있는가?
• RQ5 새로 제안된 형식인 MMTFL(2,1)과 MMTFL(1,2)은 시뮬레이션 및 실세계 데이터에서 기존 최신 기법들을 능가하는가?

주요 결과

• 제안된 곱셈 프레임워크는 수학적으로 공동 정규화 방법과 동일하지만, 행렬 범수 외의 정규화 함수(예: 비행렬 노름)를 포함하는 더 넓은 클래스를 허용한다.
• 최적의 공유된 구성요소를 최적의 작업별 파라미터의 함수로 표현하는 분석적 공식을 도출하였으며, 이는 수축 행동에 대한 통찰을 제공한다.
• MMTFL(1,2)는 50% 특징 노이즈 조건에서 시뮬레이션 데이터 D2에서 R² 0.97을 달성하여, MMTFL(2,1) 및 MMTFL(1,1)을 포함한 모든 다른 방법보다 뛰어난 성능을 보였다.
• MMTFL(2,1)은 50% 노이즈 조건에서 시뮬레이션 데이터 D1에서 R² 0.90을 기록하여, STL, DMTL 및 rMTFL를 크게 능가하는 성능을 보였다.
• Sarcos 로봇 토크 예측 데이터셋에서 MMTFL(2,1)은 50% 노이즈 조건에서 R² 0.91을 달성하여, MMTFL(1,2)를 포함한 모든 다른 방법보다 뛰어난 성능을 보였다.
• USPS 손글씨 숫자 분류 데이터셋에서 MMTFL(1,2)는 50% 노이즈 조건에서 F1 스코어 0.93을 기록하여 실세계 분류 작업에서 뛰어난 성능을 입증하였다.