[논문 리뷰] Winning the ICCV'2021 VALUE Challenge: Task-aware Ensemble and Transfer Learning with Visual Concepts

Minchul Shin, Jonghwan Mun외 4명|arXiv (Cornell University)|2021. 10. 13.

Multimodal Machine Learning Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 ICCV 2021 VALUE 챌린지에서 수상한 솔루션을 제시하며, 세 가지 핵심 전략을 도입한다: 작업별 최적화된 피지터링 설정, 시각적 개념(객체 및 속성)을 보조 신호로 통합, 작업 인식형 모델 앙상블. 각 작업에 맞게 학습 초모수를 조정하고, 풍부한 시각적 의미를 활용하며, 특수화된 앙상블 방법을 적용함으로써, 검색, 질의응답, 캡션 생성 작업 전반에서 베이스라인 모델을 크게 능가하는 성능을 달성하여, VALUE 및 QA 평가 단계에서 모두 1위를 기록하였다.

ABSTRACT

The VALUE (Video-And-Language Understanding Evaluation) benchmark is newly introduced to evaluate and analyze multi-modal representation learning algorithms on three video-and-language tasks: Retrieval, QA, and Captioning. The main objective of the VALUE challenge is to train a task-agnostic model that is simultaneously applicable for various tasks with different characteristics. This technical report describes our winning strategies for the VALUE challenge: 1) single model optimization, 2) transfer learning with visual concepts, and 3) task-aware ensemble. The first and third strategies are designed to address heterogeneous characteristics of each task, and the second one is to leverage rich and fine-grained visual information. We provide a detailed and comprehensive analysis with extensive experimental results. Based on our approach, we ranked first place on the VALUE and QA phases for the competition.

연구 동기 및 목표

• 다양한 특성과 구조를 가진 비디오-언어 작업을 위한 단일 유일한 모델을 훈련하는 데 도전하는 것.
• 글로벌 클립 수준의 특징과 함께 세분화된 시각적 개념(객체 및 속성)을 통합하여 다중모달 표현 학습을 향상시키는 것.
• 검색, 질의응답, 캡션 생성 작업 간 출력 형식의 차이를 감안한 작업 인식형 앙상블 전략을 통해 모델의 일반화 능력과 성능을 향상시키는 것.
• 모든 작업에 대해 성능을 극대화하기 위해 학습 설정(학습률, 배치 크기, 기울기 누적 등)을 체계적으로 최적화하는 것.

제안 방법

• 다양한 검증 실험을 기반으로 작업별로 최적화된 초모수(학습률, 배치 크기, GPU 수, 기울기 누적 스텝 수)를 선택하여 단일 모델의 피지터링을 최적화함.
• 프레임에서 추출한 시각적 개념(객체 및 속성)을 보조 입력으로 통합하여 클립 수준의 특징과 결합함으로써 시각적 표현을 풍부화하고 세분화된 세부 정보에 대한 민감도를 향상시킴.
• 두 단계의 피지터링 전략을 적용: 먼저 전 작업(All-Task, AT) 피지터링을 수행한 후 단일 작업(Single-Task, ST) 피지터링을 수행함으로써 일반화 능력과 작업별 성능을 향상시킴.
• 작업 인식형 앙상블을 구현하기 위해 검증 점수 기반으로 상위 K개 모델을 선택하고, 작업별 융합 규칙을 적용함: 캡션 생성에는 공통 점수 기반, 질의응답에는 가중 투표, 검색에는 유사도 기반 선택.
• 기본 아키텍처로 사전 훈련된 HERO 모델을 사용하며, TV 및 HowTo100M 데이터셋에서의 자기지도 학습 특징으로 초기화하고, 클립 수준의 시각적 특징(예: Clip-ViT+SlowFast, MIL-NCE)을 사용하여 피지터링함.
• 캡션 공감 평가 시, 코사인 유사도를 계산하기 위해 문장 임베딩(예: paraphrase-MiniLM-L3-v2)을 활용함.

실험 결과

연구 질문

• RQ1 다양한 특성과 구조를 가진 비디오-언어 작업에서 성능을 향상시키기 위해 초모수를 어떻게 작업별로 최적화할 수 있는가?
• RQ2 비디오-언어 이해 작업에서 시각적 개념(객체 및 속성)이 성능 향상에 얼마나 기여하는가?
• RQ3 작업 인식형 앙상블 전략은 검색, 질의응답, 캡션 생성 등 다양한 출력 형식에서 성능을 어떻게 향상시키는가?
• RQ4 다양한 시각적 특징 조합(예: Clip-ViT+SlowFast 대비 MIL-NCE)이 최종 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 최적화된 단일 모델 피지터링 전략은 대부분의 작업에서 뚜렷한 성능 향상을 이끌었으며, 최적 설정은 작업 및 도메인에 따라 달라졌으며, 특히 Clip-ViT+SlowFast 특징과 AT→ST 피지터링 전략이 유리함.
• 시각적 개념 통합으로 11개 작업 중 5개에서 성능 향상을 기록하였으며, VATEX 검색 및 캡션, 질의응답 작업에서 가장 큰 향상이 관찰되어 복잡하고 오픈 도메인의 이해에 강력한 이점이 있음.
• 작업 인식형 앙상블 전략은 검색에서 가장 큰 성능 향상(최대 +39.55% 상대적 향상)을 기록하였고, 이는 캡션 및 질의응답 이외의 평균 +7.45% 향상과 함께, 모든 작업에서 평균적으로 높은 성능 향상을 이룸.
• YouCook2 작업에서는 MIL-NCE 특징을 사용한 피지터링이 가장 우수한 성능을 기록하여, 작업 도메인과 사전 훈련 도메인이 일치할 경우 도메인 특화 사전 훈련의 강력한 이점이 있음을 시사함.
• 검증 점수 기반 상위 K개 모델(검색: K=32, 질의응답: K=16, 캡션: K=8)의 앙상블은 일관되게 개별 모델보다 뛰어난 성능을 기록하여, 다양한 모델 선택 전략의 효과성을 확인함.