[논문 리뷰] Multi-Task Learning for Dense Prediction Tasks: A Survey

Simon Vandenhende, Stamatios Georgoulis외 4명|Lirias (KU Leuven)|2020. 04. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 53

한 줄 요약

픽셀 수준 비전 작업을 위한 심층 다중 작업 학습에 대한 포괄적 고찰로, 아키텍처, 최적화 방법 및 실험 평가를 자세히 다룬다.

ABSTRACT

With the advent of deep learning, many dense prediction tasks, i.e. tasks that produce pixel-level predictions, have seen significant performance improvements. The typical approach is to learn these tasks in isolation, that is, a separate neural network is trained for each individual task. Yet, recent multi-task learning (MTL) techniques have shown promising results w.r.t. performance, computations and/or memory footprint, by jointly tackling multiple tasks through a learned shared representation. In this survey, we provide a well-rounded view on state-of-the-art deep learning approaches for MTL in computer vision, explicitly emphasizing on dense prediction tasks. Our contributions concern the following. First, we consider MTL from a network architecture point-of-view. We include an extensive overview and discuss the advantages/disadvantages of recent popular MTL models. Second, we examine various optimization methods to tackle the joint learning of multiple tasks. We summarize the qualitative elements of these works and explore their commonalities and differences. Finally, we provide an extensive experimental evaluation across a variety of dense prediction benchmarks to examine the pros and cons of the different methods, including both architectural and optimization based strategies.

연구 동기 및 목표

• 컴퓨터 비전의 밀도 예측 작업에 대한 최첨단 MTL 기법에 대한 통일된 관점을 제공한다.
• 작업 간 상호 작용이 발생하는 위치(인코더 중심 vs 디코더 중심)에 따라 아키텍처를 분류하고 장단점을 요약한다.
• 훈련 중 여러 작업의 균형을 맞추기 위한 최적화 전략을 검토한다.
• 다양한 벤치마크에서의 광범위한 실험 비교를 통해 아키텍처 및 최적화 접근법을 평가한다.
• 검토된 기법의 채택을 촉진하기 위해 공개 코드를 공유한다.

제안 방법

• 상호 작용 위치(인코더 중심 vs 디코더 중심)에 따른 MTL 아키텍처의 분류.
• 인코더 중심 방법의 조사(예: 크로스-스티치, NDDR-CNN, MTAN, 분지형 MTL).
• 디코더 중심 방법의 조사(예: PAD-Net, PAP-Net, MTI-Net, JTRL, MTI-Net).
• 훈련 중 작업 균형을 위한 최적화 전략 논의(예: 고정 불확실성, GradNorm, DWA, 다목적 최적화).
• 방법을 비교하기 위한 다양한 밀도 예측 벤치마크에서의 포괄적 실험 평가.
• 채택 용이성을 위한 공개 코드 제공(GitHub 링크).

실험 결과

연구 질문

• RQ1 다중 작업 학습이 밀도 예측 작업에 대해 공유 표현을 가장 잘 활용하게 하는 아키텍처 선택은 무엇인가?
• RQ2 인코더 중심과 디코더 중심 MTL 아키텍처가 성능과 효율성 면에서 어떻게 비교되는가?
• RQ3 훈련 중 다중 작업의 균형을 가장 효과적으로 달성하는 최적화 전략은 무엇인가?
• RQ4 다양한 밀도 예측 벤치마크에서 서로 다른 MTL 접근 방식이 공정한 apples-to-apples 설정에서 어떻게 수행되는가?

주요 결과

• 인코더 중심과 디코더 중심 아키텍처는 보완적인 강점을 제공하며, 디코더 중심 접근법은 다중 규모 증류를 통한 교차 작업 상호 작용을 더 풍부하게 제공하는 경향이 있다.
• 소프트 파라미터 공유 방법(예: 크로스-스티치, NDDR-CNN, MTAN)은 특징 공유를 다루지만 작업 수가 늘어남에 따라 확장성에 도전이 있다.
• 다중 모드 또는 다중 규모 증류를 수행하는 디코더 중심 모델(PAD-Net, PAP-Net, MTI-Net)은 인코더 전용 공유보다 더 풍부한 작업 관계를 포착한다.
• 브랜치형 MTL 네트워크는 작업 그룹화와 공유를 자동화하여 예산 내에서 성능과 계산 간의 균형을 맞추고 엔드-투-엔드 최적화 특성을 보인다.
• 작업 균형을 위한 최적화 전략(예: 고정 불확실성, GradNorm, DWA, 다목적 최적화)은 특정 작업의 지배를 피하고 공동 성능을 향상시키는 데 중요하다.
• 벤치마크에 걸친 광범위한 실험은 아키텍처 및 최적화 선택의 상대적 강점과 트레이드-off에 대한 apples-to-apples 통찰력을 제공한다.