[논문 리뷰] Deep Multimodal Neural Architecture Search

Yu Zhou, Yuhao Cui외 4명|arXiv (Cornell University)|2020. 04. 25.

Multimodal Machine Learning Applications참고 문헌 71인용 수 9

한 줄 요약

이 논문은 다양한 다중모态 작업—예를 들어 시각질문응답, 이미지-텍스트 매칭, 시각적 기반 등—을 위한 최적의 신경망 아키텍처를 자동으로 발견할 수 있는 일반화된 딥 다중모달 신경망 아키텍처 탐색(MMnas) 프레임워크를 제안한다. 이는 유일한 인코더-디코더 백본을 사용하며, 미분 가능한 아키텍처 탐색을 통해 이루어진다. 이 방법은 다섯 개인 벤치마크 데이터셋에서 기존 접근 방식보다 뚜렷한 성능 향상을 보이며, 특히 객체 수세기 및 다중모달 검색에서 최고 성능을 기록한다.

ABSTRACT

Designing effective neural networks is fundamentally important in deep multimodal learning. Most existing works focus on a single task and design neural architectures manually, which are highly task-specific and hard to generalize to different tasks. In this paper, we devise a generalized deep multimodal neural architecture search (MMnas) framework for various multimodal learning tasks. Given multimodal input, we first define a set of primitive operations, and then construct a deep encoder-decoder based unified backbone, where each encoder or decoder block corresponds to an operation searched from a predefined operation pool. On top of the unified backbone, we attach task-specific heads to tackle different multimodal learning tasks. By using a gradient-based NAS algorithm, the optimal architectures for different tasks are learned efficiently. Extensive ablation studies, comprehensive analysis, and comparative experimental results show that the obtained MMnasNet significantly outperforms existing state-of-the-art approaches across three multimodal learning tasks (over five datasets), including visual question answering, image-text matching, and visual grounding.

연구 동기 및 목표

• 다중모달 학습에서 작업별로 특화된 수작업 설계된 신경망 아키텍처의 한계를 해결하기 위해 자동 아키텍처 탐색을 가능하게 한다.
• 작업별로 아키텍처를 재설계할 필요 없이 여러 다중모달 작업에 일반화되는 통합 프레임워크를 개발한다.
• 신경망 아키텍처 탐색을 통해 작업별 최적의 아키텍처를 학습함으로써 대규모 사전학습된 다중모달-BERT 모델에 비해 성능과 파라미터 효율성을 향상시킨다.
• NAS가 다중모달 이해 작업에서 작업별 대표성 요구사항을 효과적으로 포착할 수 있음을 입증한다.

제안 방법

• 잔차 연결, 자기주의성 어텐션, 특징 융합 등 다양한 연산을 기본 빌딩 블록으로 삼는 기본 연산 집합을 정의한다.
• 각 인코더 또는 디코더 블록이 사전 정의된 연산 풀에서 탐색된 연산인 통합 인코더-디코더 백본을 구성한다.
• 각 작업에 대해 아키텍처와 모델 가중치를 동시에 최적화하기 위해 기울기 기반의 일회성 신경망 아키텍처 탐색(NAS) 알고리즘을 사용한다.
• VQA, 이미지-텍스트 매칭, 시각적 기반 등의 작업에 맞게 공통 백본 위에 작업별 헤드를 부착하여 다양한 최종 작업에 적응한다.
• 미분 가능한 탐색을 활용해 여러 데이터셋과 작업 간 효율적인 엔드 투 엔드 학습 및 아키텍처 최적화를 가능하게 한다.
• 제안된 MMnasNet을 사전학습 전략과 통합하여 성능을 추가로 향상시키지만, 핵심 프레임워크는 대규모 사전학습 없이도 작동한다.

실험 결과

연구 질문

• RQ1 단일 일반화 프레임워크가 다양한 다중모달 학습 작업을 위해 최적의 신경망 아키텍처를 자동으로 탐색할 수 있는가?
• RQ2 수작업 설계된 또는 사전학습된 다중모달 모델에 비해 NAS 기반 아키텍처 탐색은 성능과 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ3 다른 다중모달 작업(예: VQA 대비 시각적 기반)에 대해 최적의 아키텍처가 구조나 연산 조합 측면에서 뚜렷이 다를 수 있는가?
• RQ4 제안된 MMnas 프레임워크가 작업별 특화된 아키텍처 설계 없이도 여러 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 새로운 연산(RSA)의 도입이 객체 수세기와 같은 도전적인 하위 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• MMnasNet은 VQA-v2 데이터셋에서 기존 방법들을 모두 압도하며 새로운 SOTA 성능을 기록했으며, 특히 'number'(객체 수세기) 유형에서 5.5%의 뚜렷한 향상을 보였다.
• Flickr30K에서 MMnasNet은 텍스트-이미지 검색에 대해 Recall@1이 78.3%이며 Recall@10이 97.4%를 기록했으며, 이는 이전 SOTA(CAMP: 68.1% 및 95.2%)를 10个百分点 이상 초월했다.
• Flickr30K에서 이미지-텍스트 검색에 대해 MMnasNet은 Recall@1이 60.7%, Recall@5가 85.1%, Recall@10이 90.5%를 기록했으며, CAMP(51.5%, 77.1%, 85.3%)를 뚜렷이 뛰어넘었다.
• RefCOCO, RefCOCO+, RefCOCOg에서 MMnasNet은 표준 특징을 사용할 경우 75.6%의 정확도, 더 강력한 FRCN 특징을 사용할 경우 80.1%의 정확도를 기록했으며, MAttNet을 5% 이상 초월했다.
• 제거 실험 결과, 아키텍처가 작업 간에 뚜렷이 다름을 확인하여 프레임워크의 적응 가능성과 작업별 최적화 능력을 입증했다.
• 잔차 자기주의성 어텐션(RSA) 연산의 도입이 객체 수세기와 같은 복잡한 추론 작업에서 성능 향상에 결정적인 역할을 한다.