[논문 리뷰] Towards General Purpose Vision Systems

Tanmay Gupta, Amita Kamath외 2명|arXiv (Cornell University)|2021. 04. 01.

Multimodal Machine Learning Applications참고 문헌 56인용 수 6

한 줄 요약

이 논문은 이미지와 자연어 작업 기술 설명만을 입력으로 사용하여 시각질의 질문 응답, 위치 지정, 캡션 생성, 분류 등 다양한 시각 작업을 수행할 수 있는 엔드 투 엔드, 작업 무관(타스크-에이지노스)인 시각-언어 아키텍처인 GPV-1을 제안한다. 이 모델은 참조 표현 작업에서 강력한 제로샷 성능를 달성하고, 다중 작업 미리 훈련을 통해 샘플 효율성을 향상시켜 아키텍처 수정 없이도 스킬과 개념 간 일반화를 보여준다.

ABSTRACT

Computer vision systems today are primarily N-purpose systems, designed and trained for a predefined set of tasks. Adapting such systems to new tasks is challenging and often requires non-trivial modifications to the network architecture (e.g. adding new output heads) or training process (e.g. adding new losses). To reduce the time and expertise required to develop new applications, we would like to create general purpose vision systems that can learn and perform a range of tasks without any modification to the architecture or learning process. In this paper, we propose GPV-1, a task-agnostic vision-language architecture that can learn and perform tasks that involve receiving an image and producing text and/or bounding boxes, including classification, localization, visual question answering, captioning, and more. We also propose evaluations of generality of architecture, skill-concept transfer, and learning efficiency that may inform future work on general purpose vision. Our experiments indicate GPV-1 is effective at multiple tasks, reuses some concept knowledge across tasks, can perform the Referring Expressions task zero-shot, and further improves upon the zero-shot performance using a few training samples.

연구 동기 및 목표

• 아키텍처나 훈련 프로세스의 수정 없이도 다양한 시각 작업을 학습하고 수행할 수 있는 일반 목적의 시각 시스템을 개발하는 것.
• 통합 아키텍처와 자연어 작업 기술 설명을 사용하여 새로운 작업의 제로샷 및 피셔샷 학습을 가능하게 하는 것.
• 세 가지 차원에서 일반화 능력을 평가하는 것: 아키텍처, 스킬 간 개념 전이, 학습 효율성.
• 특수화된 시각 모델에서 흔히 볼 수 있는 작업별 헤드 및 맞춤형 훈련 파ip라인에 대한 의존도를 줄이는 것.
• 시각-언어 시스템에서의 일반화 능력을 측정하기 위한 벤치마크와 평가 프로토콜을 수립하는 것.

제안 방법

• 모델은 이미지를 처리하기 위해 시각 트랜스포머 인코더를 사용하고, 자연어 작업 기술 설명에 기반해 텍스트 및 바운딩 박스 출력을 생성하기 위해 트랜스포머 디코더를 사용한다.
• 단일 공유 아키텍처를 사용하고 작업별 헤드 없이, VQA, 캡션 생성, 위치 지정, 분류 등의 다수 작업을 엔드 투 엔드로 훈련한다.
• 작업 사양은 자연어 프롬프트(예: '파란 차의 제조사는 무엇입니까?')를 통해 제공되어 작업 무관 추론을 가능하게 한다.
• DETR 스타일의 객체 탐지기에서 유도된 RoI 특징과 시각 트랜스포머 특징을 활용하며, 성능에 미치는 영향을 분석하기 위해 아블레이션 스터디를 실시한다.
• 특정 개념을 훈련 작업에서 제외하고 다른 작업을 통해 노출시키는 방식으로 스킬-개념 전이를 평가하기 위해 새로운 데이터셋 분할(Coco-sce)을 도입한다.
• 특히 참조 표현 작업에서의 학습 효율성과 치명적 잊힘(catastrophic forgetting)을 평가하기 위해 파인튜닝을 적용한다.

실험 결과

연구 질문

• RQ1 단일 시각-언어 아키텍처가 아키텍처 수정 없이 다양한 시각 작업을 수행할 수 있는가?
• RQ2 모델은 '훈련에서 제외된 객체 카테고리'와 같은 새로운 스킬-개념 조합에 얼마나 잘 일반화되는가?
• RQ3 다중 작업 미리 훈련이 새로운 작업에서 제로샷 및 피셔샷 성능를 어떻게 향상시키는가?
• RQ4 새로운 작업에서 파인튜닝 시, 특수화된 모델과 비교해 모델의 학습 효율성과 기억 유지 능력은 어떻게 되는가?
• RQ5 RoI 특징과 엔드 투 엔드 파인튜닝과 같은 아키텍처 구성 요소가 성능와 일반화에 미치는 영향은 무엇인가?

주요 결과

• GPV-1은 참조 표현 작업에서 파인튜닝 없이도 강력한 제로샷 성능를 보이며, 어떤 것도 학습하지 않은 상태에서 객체를 정확히 위치 지정한다.
• 참조 표현 작업에서 파인튜닝 시, 단일 작업으로 위치 지정만 미리 훈련한 모델에 비해 GPV-1은 더 높은 샘플 효율성을 보이며 더 빠르게 학습하고 더 우수한 초기 성능를 확보한다.
• 멀티태스크 GPV-1은 10,000개의 참조 표현 예제에 대해 파인튜닝한 후에도 VQA, 캡션 생성, 위치 지정 작업에서 원래 성능의 85%를 유지한다. 반면 GPV-1-Loc(단일 작업)는 상당히 더 빨리 잊는다.
• 모델은 스킬-개념 전이 능력을 보이며, 'muskrat'를 위치 지정할 수 있다. 이는 'muskrat'에 대해 VQA 및 캡션 생성 작업에서 훈련되었지만, 위치 지정 작업에 대해 직접적으로 훈련되지 않은 경우에도 가능하다.
• 아블레이션 스터디 결과, RoI 특징은 VQA에 크게 기여하고 캡션 생성에 약간 기여하지만, 위치 지정 및 분류 작업에는 약간 악영향을 미친다. 이는 특징 사용 시의 상충 관계를 시사한다.
• 엔드 투 엔드 파인튜닝은 모든 작업에서 성능 향상을 이끌어내며, VQA(56.4에서 58.8로)와 캡션 생성(0.883에서 0.908 BLEU-4로)에서 가장 큰 성과를 보였다.