[논문 리뷰] AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning

Ximeng Sun, Rameswar Panda외 2명|arXiv (Cornell University)|2019. 11. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 67인용 수 121

한 줄 요약

AdaShare는 다중 작업 간에 공유하거나 특화할 네트워크 계층을 결정하기 위해 작업별 실행 정책을 학습하여, 매개변수 수가 크게 줄고 계산이 낮아도 경쟁력 있는 정확도를 달성합니다.

ABSTRACT

Multi-task learning is an open and challenging problem in computer vision. The typical way of conducting multi-task learning with deep neural networks is either through handcrafted schemes that share all initial layers and branch out at an adhoc point, or through separate task-specific networks with an additional feature sharing/fusion mechanism. Unlike existing methods, we propose an adaptive sharing approach, called AdaShare, that decides what to share across which tasks to achieve the best recognition accuracy, while taking resource efficiency into account. Specifically, our main idea is to learn the sharing pattern through a task-specific policy that selectively chooses which layers to execute for a given task in the multi-task network. We efficiently optimize the task-specific policy jointly with the network weights, using standard back-propagation. Experiments on several challenging and diverse benchmark datasets with a variable number of tasks well demonstrate the efficacy of our approach over state-of-the-art methods. Project page: https://cs-people.bu.edu/sunxm/AdaShare/project.html.

연구 동기 및 목표

• 작업 수에 따라 규모 확장이 가능한 효율적인 다중 작업 학습(MTL)의 필요성을 제시한다.
• 작업 간 공유할 계층과 전문화할 계층을 결정하는 미분 가능 방법을 개발한다.
• 강화 학습 없이 작업 성능과 자원 효율성을 공동으로 최적화한다.
• 정확도를 유지하면서 공유를 촉진하는 교육 전략과 손실 함수를 제공한다.

제안 방법

• 주어진 작업에 대해 계층이 실행되는지 여부를 결정하기 위해 각 네트워크 계층에 대해 작업 특이적 이진 정책을 모델링한다.
• 이산적인 공유/스킵 결정의 미분 가능한 학습을 가능하게 하기 위해 Gumbel-Softmax 샘플링을 사용한다.
• 작업 특이적 손실 및 규제 terms와 함께 역전파를 통해 네트워크 가중치와 정책 로짓을 함께 학습한다.
• 조밀하고 공유 친화적인 아키텍처를 촉진하기 위해 희소성 및 공유 손실을 도입한다.
• 최적화를 안정시키기 위해 커리큘럼형 워밍업과 정책 공간의 점진적 축소를 적용한다.
• 별도의 정책 네트워크가 아니라 계층 로짓에서 직접 정책을 학습하여 추가 매개변수 발자국을 작게 유지한다.

실험 결과

연구 질문

• RQ1 단일 다중 작업 네트워크 내에서 작업별 실행 경로를 학습하여 정확도와 효율성을 함께 최적화할 수 있는가?
• RQ2 학습된 작업별 정책이 필요에 따라 작업별 블록을 허용하면서 낮은-중간 수준 특징을 효과적으로 공유하는가?
• RQ3 희소성 및 공유 규제가 다중 작업 모델의 간결성과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 데이터셋에서 AdaShare의 성능과 매개변수 효율성이 최첨단 MTL 방법과 비교해 어떤가?
• RQ5 작업 수와 도메인이 증가함에 따라 접근 방식은 어떻게 확장되는가?

주요 결과

• AdaShare는 NYU v2, CityScapes, Tiny-Taskonomy, DomainNet, NLP 데이터셋에서 여러 지표에서 최상 또는 거의 최상 수준의 성능을 자주 달성한다.
• 이 방법은 많은 기준선 대비 매개변수를 대략 50-80% 줄이면서 정확도를 유지하거나 더 높게 달성한다.
• 학습된 정책은 종종 중간 수준 블록(예: ResNet의 conv3_x)을 작업 그룹 간에 공유하도록 하여 양의 이전을 최대화하고 부정 이전을 제한한다.
• 정책 시각화는 작업 간 상관관계가 직관적인 도메인 유사성과 일치하여 공유 패턴을 안내함을 보여준다.
• AdaShare는 평균적으로 7.67%-18.71% FLOP 절감과 최대 80% 매개변수 감소를 제공하며 경쟁력 있거나 더 나은 정확도를 달성한다.