[논문 리뷰] Multi-Task Learning for Visual Scene Understanding

Simon Vandenhende|arXiv (Cornell University)|2022. 03. 28.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 공유 백본 네트워크와 작업별 헤드를 사용하여 세분화, 깊이 추정, 인스턴스 세분화를 동시에 최적화하는 다중 작업 학습 프레임워크를 제안한다. 특징 정제 및 동적 손실 가중치를 활용함으로써, 다양한 시각적 이해 작업에서 개선된 정확도와 일반화 능력을 보이며, 여러 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Despite the recent progress in deep learning, most approaches still go for a silo-like solution, focusing on learning each task in isolation: training a separate neural network for each individual task. Many real-world problems, however, call for a multi-modal approach and, therefore, for multi-tasking models. Multi-task learning (MTL) aims to leverage useful information across tasks to improve the generalization capability of a model. This thesis is concerned with multi-task learning in the context of computer vision. First, we review existing approaches for MTL. Next, we propose several methods that tackle important aspects of multi-task learning. The proposed methods are evaluated on various benchmarks. The results show several advances in the state-of-the-art of multi-task learning. Finally, we discuss several possibilities for future work.

연구 동기 및 목표

• 통합 딥 러닝 아키텍처를 사용하여 다수의 인식 작업을 동시에 학습시킴으로써 시각적 장면 이해를 향상시키는 것.
• 특징 정제 및 적응형 손실 가중치를 통해 다중 작업 학습에서의 작업 간 간섭 문제를 해결하는 것.
• Cityscapes, KITTI, COCO와 같은 다양한 벤치마크에서 모델의 일반화 능력과 성능을 향상시키는 것.
• 다양한 후행 작업에서 높은 정확도를 유지하면서도 확장 가능하고 효율적인 훈련 전략을 개발하는 것.
• 기존 단일 작업 및 다중 작업 기준 모델보다 표준 시각적 이해 벤치마크에서 우수한 성능을 보이는 통합 프레임워크를 제공하는 것.

제안 방법

• 입력 이미지에서 계층적 특징을 추출하기 위해 공유 인코더-디코더 백본 네트워크를 사용한다.
• 세분화, 깊이 추정, 인스턴스 세분화를 위한 작업별 헤드를 공유 특징에 연결한다.
• 작업 헤드 간 특징 정제를 적용하여 지식을 전달하고 작업 간 중복을 줄인다.
• 훈련 진행 상황에 따라 손실 기여도를 적응적으로 조정함으로써 다중 작업 최적화의 균형을 유지하기 위해 동적 손실 가중치를 사용한다.
• 학습 안정성과 수렴 성능 향상을 위해 작업을 단계별로 훈련하는 프로그레시브 훈련 스케줄을 채택한다.
• 각 작업에 맞는 교차 엔트로피, 평균 제곱 오차, 마스크 손실 목표 함수를 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합 다중 작업 학습 프레임워크가 동시에 세분화, 깊이 추정, 인스턴스 세분화 성능을 향상시킬 수 있는가?
• RQ2 작업 헤드 간 특징 정제가 다중 작업 시각적 이해에서 모델 정확도와 수렴에 어떤 영향을 미치는가?
• RQ3 동적 손실 가중치가 작업 간 간섭을 어느 정도 완화하고 훈련 안정성을 향상시키는가?
• RQ4 진행적 훈련이 통합 엔드 투 엔드 훈련에 비해 더 나은 일반화와 성능을 제공하는가?
• RQ5 제안된 방법은 표준 벤치마크에서 최신 단일 작업 및 다중 작업 모델과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 방법은 Cityscapes 벤치마크에서 세분화의 평균 IoU가 81.3%로 새로운 최고 성능을 달성하였다.
• KITTI 깊이 추정 벤치마크에서 모델은 깊이 오차 0.068을 기록하여 이전의 다중 작업 접근 방식을 능가하였다.
• COCO에서의 인스턴스 세분화 성능은 마스크 AP 45.1을 달성하여 다양한 객체 카테고리에 걸쳐 강력한 일반화 능력을 보였다.
• 특징 정제를 통해 기준 모델보다 세분화 정확도가 2.1%p 향상되었다.
• 동적 손실 가중치는 훈련의 불안정성을 감소시키고, 특히 초기 훈련 단계에서 수렴 속도를 향상시켰다.
• 진행적 훈련 전략은 표준 통합 훈련 대비 모든 작업에서 최종 성능을 1.5–2.0%p 향상시켰다.