[논문 리뷰] Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks

Sachin Ravi, Sebastian Musslick외 3명|arXiv (Cornell University)|2020. 07. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 10

한 줄 요약

이 논문은 딥 네ural 네트워크에서 빠른 학습을 위한 공유 표현과 동시 실행을 위한 별도 표현 간의 상충 관계를 조사한다. 환경에 따라 시리얼라이제이션 비용이 다를 수 있음을 고려해, 단일 작업 학습과 다중 작업 학습 간의 동적 선택을 가능하게 하는 메타학습 알고리즘을 제안하며, 노이즈가 있는 입력 조건을 포함한 다양한 조건에서 거의 최적의 성능을 달성한다.

ABSTRACT

The terms multi-task learning and multitasking are easily confused. Multi-task learning refers to a paradigm in machine learning in which a network is trained on various related tasks to facilitate the acquisition of tasks. In contrast, multitasking is used to indicate, especially in the cognitive science literature, the ability to execute multiple tasks simultaneously. While multi-task learning exploits the discovery of common structure between tasks in the form of shared representations, multitasking is promoted by separating representations between tasks to avoid processing interference. Here, we build on previous work involving shallow networks and simple task settings suggesting that there is a trade-off between multi-task learning and multitasking, mediated by the use of shared versus separated representations. We show that the same tension arises in deep networks and discuss a meta-learning algorithm for an agent to manage this trade-off in an unfamiliar environment. We display through different experiments that the agent is able to successfully optimize its training strategy as a function of the environment.

연구 동기 및 목표

• 공유 표현(빠른 학습을 위한 것)과 별도 표현(더 나은 다중 작업 처리를 위한 것) 간의 상충 관계가 딥 컨volution 네트워크에 존재하는지 조사하기.
• 단일 작업 학습 대 다중 작업 학습 훈련 방식의 선택이 이 상충 관계를 제어하는 데 효과적인가 평가하기.
• 알 수 없는 시리얼라이제이션 비용을 가진 환경에서 최적의 훈련 전략을 선택하는 데 목적이 있는 메타학습 알고리즘 설계 및 검증하기.
• 다양한 작업 난이도와 노이즈 수준에서 메타학습자의 성능 평가하기.

제안 방법

• 작업별 입력 벡터를 사용해 작업 실행을 제어하는 딥 컨volution 네트워크 아키텍처를 사용한다.
• 두 가지 훈련 제도를 비교한다: 단일 작업 훈련(별도 표현)과 다중 작업 훈련(공유 표현).
• 관측된 보상과 추정된 시리얼라이제이션 비용을 바탕으로 메타학습 알고리즘이 단일 작업 훈련과 다중 작업 훈련 간의 선택을 수행한다.
• 메타학습자는 확률적 정책을 사용해 전략을 샘플링하고 강화 학습 원리를 이용해 정책을 업데이트한다.
• 정규성과 노이즈가 있는 입력 환경에서 실험을 수행해 강인성과 적응 능력을 테스트한다.
• 성능 평가에는 5,000번의 시도 동안 누적 보상과 15회의 반복 평균을 취한 신뢰구간을 사용한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크에서 다중 작업 학습과 다중 작업 처리 간의 상충 관계가 지속되는가?
• RQ2 단일 작업 훈련과 다중 작업 훈련 간의 선택이 학습 속도 대 다중 작업 처리 능력 간의 상충 관계를 효과적으로 관리할 수 있는가?
• RQ3 알 수 없는 시리얼라이제이션 비용을 가진 환경에서 메타학습 에이전트가 훈련 전략을 얼마나 잘 적응하는가?
• RQ4 입력 노이즈는 단일 작업 훈련과 다중 작업 훈련 간 최적의 선택에 어떤 영향을 미치는가?
• RQ5 시리얼라이제이션 비용이 증가함에 따라 메타학습자는 최적 전략으로 수렴하는가?

주요 결과

• 메타학습 알고리즘은 다양한 시리얼라이제이션 비용 조건에서도 최적 전략에 가까운 보상률을 달성한다.
• 높은 시리얼라이제이션 비용 환경에서는 메타학습자가 단일 작업 훈련 시도 비율을 부드럽게 감소시켜 효과적인 적응을 보인다.
• 높은 노이즈 또는 복잡도로 인해 최적 전략이 모호한 경우, 메타학습자는 최악의 전략에 더 가까운 성능을 보이며, 더 긴 탐색 시간을 반영한다.
• 알 수 없는 비용 조건이 적용된 환경에서 고정 전략(항상 단일 작업 또는 항상 다중 작업)보다 메타학습자가 더 뛰어난 성능을 보인다.
• 노이즈가 많은 환경에서는 단일 작업 훈련이 더 큰 이점을 제공하여, 불확실성 조건 하에서 공유 표현이 더 가치가 있음을 시사한다.
• 학습 속도와 다중 작업 처리 능력 간의 상충 관계는 딥 네트워크에서도 여전히 뚜렷하며, 얕은 모델의 결과가 더 복잡한 환경에서도 성립함을 확인한다.