[논문 리뷰] MulT: An End-to-End Multitask Learning Transformer

Deblina Bhattacharjee, Tong Zhang외 2명|arXiv (Cornell University)|2022. 05. 17.

Advanced Vision and Imaging인용 수 12

한 줄 요약

MulT는 공유된 Swin transformer 인코더와 임의의 작업 전용 디코더 헤드를 갖춘 새로운 공유 attention 메커니즘을 통해 깊이 추정, 세분화, 재조명, 표면 법선 추정, 2D 키포인트 검출, 에지 검출의 6개의 고수준 시각 작업을 동시에 학습하는 엔드 투 엔드 다중작업 트랜스포머 프레임워크를 제안한다. 이 모델은 단일 작업 트랜스포머 모델과 최신의 다중작업 CNN 모델을 모두 능가하며, 더 뛰어난 성능과 새로운 도메인으로의 일반화 능력을 보여준다.

ABSTRACT

We propose an end-to-end Multitask Learning Transformer framework, named MulT, to simultaneously learn multiple high-level vision tasks, including depth estimation, semantic segmentation, reshading, surface normal estimation, 2D keypoint detection, and edge detection. Based on the Swin transformer model, our framework encodes the input image into a shared representation and makes predictions for each vision task using task-specific transformer-based decoder heads. At the heart of our approach is a shared attention mechanism modeling the dependencies across the tasks. We evaluate our model on several multitask benchmarks, showing that our MulT framework outperforms both the state-of-the art multitask convolutional neural network models and all the respective single task transformer models. Our experiments further highlight the benefits of sharing attention across all the tasks, and demonstrate that our MulT model is robust and generalizes well to new domains. Our project website is at https://ivrl.github.io/MulT/.

연구 동기 및 목표

• 다양한 고수준 시각 작업을 위한 트랜스포머 기반 엔드 투 엔드 다중작업 학습 프레임워크를 개발한다.
• 2D, 3D, 의미론적 시각 작업 간의 상호의존성을 공유된 attention 메커니즘을 통해 명시적으로 모델링한다.
• 단일 작업 모델과 기존의 다중작업 CNN 기반 모델 대비 성능 향상과 일반화 능력을 향상시킨다.
• 신규로 발생하는 분포 외 도메인에 대한 프레임워크의 강건성과 적응 능력을 평가한다.
• 작업 전용 디코더 간의 공유된 attention이 특징 학습과 모델 일반화를 향상시킨다는 것을 입증한다.

제안 방법

• 모델은 입력 이미지로부터 공유 잠재 표현을 추출하기 위해 Swin 트랜스포머 인코더를 사용한다.
• 각 시각 작업은 공유된 인코더 특징에 주목하는 작업 전용 트랜스포머 디코더 헤드를 통해 예측된다.
• 다른 작업의 디코더 간에 공유된 크로스 어텐션 메커니즘이 도입되어 상호작용 기반의 특징 공유가 가능해진다.
• 모든 작업 전용 손실을 조합한 가중치가 부여된 다중작업 손실 함수를 사용해 전체 모델을 엔드 투 엔드로 훈련한다.
• 단일 컴act 모델을 사용해 다수의 작업에 대한 동시 훈련과 추론을 지원한다.
• 도메인 일반화 능력 평가를 위해 블러 처리된 Taskonomy 이미지 및 CocoDoom 데이터셋과 같은 분포 외 데이터에 대해 파인튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 단일 작업 모델 대비 성능 향상을 이룰 수 있는 방식으로 다수의 고수준 시각 작업을 동시에 학습할 수 있는가?
• RQ2 공유된 attention을 통한 작업 간 상호의존성의 명시적 모델링이 모든 작업의 성능 향상에 기여하는가?
• RQ3 제안된 다중작업 트랜스포머가 기존의 다중작업 CNN 기반 모델보다 더 나은 도메인 일반화 능력을 보이는가?
• RQ4 공유된 attention은 다중작업 시각 학습에서 성능과 파라미터 효율성에 어떤 영향을 미치는가?
• RQ5 2D, 3D, 의미론적 이해를 포함한 다양한 작업들 간에 모델이 뛰어난 성능을 유지할 수 있는가?

주요 결과

• MulT는 Taskonomy, Replica, NYU, CocoDoom 등의 표준 벤치마크에서 모든 단일 작업 Swin 트랜스포머 모델과 최신의 다중작업 CNN 기반 모델(Taskgrouping [42])을 모두 능가한다.
• 도메인 시프트가 발생하는 Taskonomy 데이터셋에서 표면 법선 추정 작업에 대해 MulT는 파인튜닝 시 12.6%의 오차, 파인튜닝 없이 27.0%의 오차를 기록했으며, 이는 Cross-task [54] 기준(17.4% 및 46.2%)과 Taskgrouping [42] 기준(21.9% 및 55.1%)보다 뚜렷이 뛰어나다.
• CocoDoom 데이터셋에서 재조명 작업에 대해 MulT는 파인튜닝 시 13.3%의 오차, 파인튜닝 없이 39.3%의 오차를 기록했으며, 이는 Cross-task [54]의 18.5% 및 54.3%와 Taskgrouping [42]의 25.3% 및 67.7%를 상회한다.
• 절단 실험 결과 공유된 attention이 성능 향상에 뚜렷한 기여를 하며, 특히 데이터가 적거나 분포 외 환경에서 두드러진다.
• 기존의 다중작업 모델 대비 MulT는 새로운 도메인으로의 일반화 능력이 뛰어나며, 파인튜닝 없이도 강건성과 도메인 적응 능력을 보여준다.
• 단일 공유 인코더와 작업 전용 디코더를 사용해 6개의 다양한 시각 작업에서 고성능을 유지하면서도 개별 모델을 훈련하는 것보다 계산 비용을 줄였다.