[논문 리뷰] Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction

Zhiyong Yang, Qianqian Xu외 2명|arXiv (Cornell University)|2020. 04. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 75인용 수 4

한 줄 요약

이 논문은 부정적 전이를 완화하기 위해 작업과 특징 그룹화를 블록 대각 구조 정규화를 통해 공동으로 모델링하는 새로운 다중 작업 학습 방법인 작업-특징 협동 학습(TFCL)을 제안한다. 이 방법은 전역 수렴을 보장하며, 실제 데이터셋에서 개인화된 속성 예측에서 최신 기술을 능가한다. 특히 어려운 작업에서 성능 변동성을 줄이고 일반화 능력을 향상시켜 성능을 향상시킨다.

ABSTRACT

As an effective learning paradigm against insufficient training samples, Multi-Task Learning (MTL) encourages knowledge sharing across multiple related tasks so as to improve the overall performance. In MTL, a major challenge springs from the phenomenon that sharing the knowledge with dissimilar and hard tasks, known as negative transfer, often results in a worsened performance. Though a substantial amount of studies have been carried out against the negative transfer, most of the existing methods only model the transfer relationship as task correlations, with the transfer across features and tasks left unconsidered. Different from the existing methods, our goal is to alleviate negative transfer collaboratively across features and tasks. To this end, we propose a novel multi-task learning method called Task-Feature Collaborative Learning (TFCL). Specifically, we first propose a base model with a heterogeneous block-diagonal structure regularizer to leverage the collaborative grouping of features and tasks and suppressing inter-group knowledge sharing. We then propose an optimization method for the model. Extensive theoretical analysis shows that our proposed method has the following benefits: (a) it enjoys the global convergence property and (b) it provides a block-diagonal structure recovery guarantee. As a practical extension, we extend the base model by allowing overlapping features and differentiating the hard tasks. We further apply it to the personalized attribute prediction problem with fine-grained modeling of user behaviors. Finally, experimental results on both simulated dataset and real-world datasets demonstrate the effectiveness of our proposed method

연구 동기 및 목표

• 다중 작업 학습에서의 부정적 전이 문제를 해결하기 위해 작업과 특징 간 관계를 공동으로 모델링한다.
• 상호작용 그룹화를 장려하는 정규화 프레임워크를 개발하여 관련 없는 그룹 간 지식 공유를 억제한다.
• 최적화 과정에서 전역 수렴성과 구조 복원 보장을 보장한다.
• 세부 사용자 행동 모델링을 통해 개인화된 속성 예측에 이 방법을 확장한다.
• 시뮬레이션 및 실제 데이터셋에서의 실증적 검증을 통해 딱딱한 작업에서의 강인성을 입증한다.

제안 방법

• 작업과 특징의 협동 그룹화를 강제하기 위해 이질적인 블록 대각 구조 정규화를 갖춘 기본 모델을 제안한다.
• 볼록 부분문제를 해결하는 반복 최적화 방법을 도입하며, 한 부분문제에 대해 새로운 폐형 해를 제안한다.
• 이론적 분석을 통해 전역 수렴성과 블록 대각 구조 복원 보장을 수립한다.
• 중복 가능한 특징을 允허하고 계층적 모델 분해를 통해 어려운 작업을 구분하는 방식으로 모델을 확장한다.
• 기존의 공통 그룹화 항목(예: CoCMTL에서 사용된 것)을 능가하는 공통 그룹화 정규화를 사용한다.
• 개선된 일반화 능력을 갖춘 사용자별 행동 패턴 모델링을 통해 개인화된 속성 예측에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 작업과 특징의 공동 모델링이 다중 작업 학습에서 부정적 전이를 효과적으로 줄일 수 있는가?
• RQ2 제안된 블록 대각 정규화가 최적화 과정에서 구조 복원과 전역 수렴성을 보장하는가?
• RQ3 TFCL은 개인화된 속성 예측 과제에서 최신 기술 MTL 방법보다 어떻게 성능을 냅니까?
• RQ4 자료 부족 상황에서 TFCL은 어려운 작업이나 이방성 작업에서 성능을 얼마나 향상시키는가?
• RQ5 복잡한 사용자 행동 패턴을 가진 실제 데이터셋에 적용했을 때, 이 방법은 강인성과 일반화 능력을 유지할 수 있는가?

주요 결과

• TFCL은 Shoes 및 Sun 데이터셋에서 모든 경쟁자보다 뚜렷하게 뛰어난 성능을 보이며, 각각 CL, MO, OA, RU, SO 속성에 대해 평균 AUC 개선률이 1.95, 2.95, 0.44, 2.37, 1.29에 이른다.
• 사용자별 AUC 점수의 분포가 더 좁아졌으며, 이는 성능 변동성이 감소하고 어려운 작업을 더 잘 다루고 있음을 시사한다.
• 제거 실험에서 그룹화 요소를 제거하면 손실 함수를 교체하는 것보다 성능 저하가 더 심각함을 확인하여, 구조적 그룹화의 중요성을 입증한다.
• 모든 속성에서 시뮬레이션 데이터셋과 실제 데이터셋 모두에서 CoCMTL에서 사용된 공통 그룹화 정규화보다 제안된 정규화가 뛰어난 성능을 보였다.
• 시뮬레이션 데이터셋에서 TFCL은 정확한 공통 그룹화 구조를 성공적으로 복원하여, 구조 학습 능력을 검증하였다.
• 최적화 방법은 전역 수렴성을 보였으며, 해가 최적 운반 이론과 연결되어 있어, 부정적 전이 완화에 대한 새로운 이론적 통찰을 제공한다.