[논문 리뷰] YOLOR-Based Multi-Task Learning

Hung–Shuo Chang, Chien-Yao Wang외 3명|arXiv (Cornell University)|2023. 09. 29.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 YOLOR에 ELAN을 결합하여 물체 탐지, 인스턴스 분할, 시맨틱 분할, 이미지 캡션 작성을 공동으로 학습하고, 경량 모델로 초기부터 경쟁력 있는 결과를 달성합니다.

ABSTRACT

Multi-task learning (MTL) aims to learn multiple tasks using a single model and jointly improve all of them assuming generalization and shared semantics. Reducing conflicts between tasks during joint learning is difficult and generally requires careful network design and extremely large models. We propose building on You Only Learn One Representation (YOLOR), a network architecture specifically designed for multitasking. YOLOR leverages both explicit and implicit knowledge, from data observations and learned latents, respectively, to improve a shared representation while minimizing the number of training parameters. However, YOLOR and its follow-up, YOLOv7, only trained two tasks at once. In this paper, we jointly train object detection, instance segmentation, semantic segmentation, and image captioning. We analyze tradeoffs and attempt to maximize sharing of semantic information. Through our architecture and training strategies, we find that our method achieves competitive performance on all tasks while maintaining a low parameter count and without any pre-training. We will release code soon.

연구 동기 및 목표

• 비전 및 비전-언어 과제에 대해 작업 간 공유 시맨틱을 최대화하여 다중 작업 학습(MTL)을 고무한다.
• 매개변수 수를 줄인 다중 헤드를 지원하는 백본을 구축하기 위해 YOLOR와 ELAN을 활용한다.
• 탐지, 분할, 캡션화 등 작업별 헤드를 설계하고 작업 간 시맨틱 일관성을 보존하는 통합 학습 흐름을 구축한다.
• MTL에서 시맨틱 충돌을 최소화하고 학습 강인성을 향상시키는 데이터 증강 및 최적화 전략을 탐구한다.

제안 방법

• 객체 탐지, 인스턴스 분할, 시맨틱 분할 및 이미지 캡션 작성을 위해 경량의 task-specific heads를 가진 하드 매개변수 공유를 사용한다.
• ELAN을 도입하여 그래디언트 흐름을 최적화하고 작업 간 공유 표현을 보존한다.
• 작업 간 시맨틱 일관성을 유지하고 교차 작업 충돌을 줄이기 위해 비대칭적 데이터 증강 전략을 채택한다.
• 비전 과제와 백본을 공유하는 동안 이미지 캡션화를 위한 Transformer 기반 디코더를 사용한다(ELAN+YOLOR).
• 사전 학습 없이 이미지 인코더와 텍스트 디코더를 함께 학습하기 위한 학습률 전략을 탐구한다.

실험 결과

연구 질문

• RQ1 YOLOR와 ELAN을 어떻게 구성하면 여러 비전 및 비전-언어 과제 간의 공유 시맨틱을 최대화할 수 있는가?
• RQ2 다중 작업 학습에서 시맨틱 일관성을 최적 잘 보존하고 작업 간 간섭을 최소화하는 데이터 증강 및 최적화 기법은 무엇인가?
• RQ3 하나의 from-scratch 학습 체계가 객체 탐지, 인스턴스 분할, 시맨틱 분할 및 이미지 캡션 작성에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 이 설정에서 단일 작업에서 다중 작업 학습으로 확장할 때 매개변수 수와 작업 성능 간의 트레이드오프는 무엇인가?

주요 결과

• 모든 과제가 기준선 대비 공동 학습을 통해 향상된다.
• 다중 작업 설정에서 프레이밍되었을 때 시맨틱 분할은 기준선 대비 13.6% 향상된다.
• 제안된 다중 작업 프레임워크 하에서 이미지 캡션은 기준선 대비 9.2% 향상된다.
• 제안된 모델은 80.0M 매개변수를 가진 경량 모델이며 MS COCO 파생 평가에서 OD (AP 52.1), IS (AP 42.4), SemS (MIOU 50.1)에서 경쟁력 있는 결과를 달성한다.
• 사전 학습 없이 이미지 인코더와 텍스트 디코더를 함께 학습하는 것이 이미지 캡션 작성에 이점을 주며, 보고된 설정에서 BLEU-4 (B@4) 점수 28.4로 경쟁력을 보인다.