[논문 리뷰] Playing Lottery Tickets with Vision and Language

Zhe Gan, Yen‐Chun Chen외 7명|arXiv (Cornell University)|2021. 04. 23.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 UNITER, LXMERT, ViLT와 같은 시각-언어(VL) 사전 훈련 모델에서 로또 티켓 가설(LTH)을 조사하며, 훈련 가능한 하위망구조('승리의 티켓')가 존재함을 입증한다. 반복적인 크기 기반 프루닝을 통해 60–70%의 희박도에서 전체 모델의 96–98% 정확도를 유지하는 하위망구조를 발견하였으며, 사전 훈련 기반 티켓은 강력한 보편적 전이성(transferability)을 보였다.

ABSTRACT

Large-scale pre-training has recently revolutionized vision-and-language (VL) research. Models such as LXMERT and UNITER have significantly lifted the state of the art over a wide range of VL tasks. However, the large number of parameters in such models hinders their application in practice. In parallel, work on the lottery ticket hypothesis (LTH) has shown that deep neural networks contain small matching subnetworks that can achieve on par or even better performance than the dense networks when trained in isolation. In this work, we perform the first empirical study to assess whether such trainable subnetworks also exist in pre-trained VL models. We use UNITER as the main testbed (also test on LXMERT and ViLT), and consolidate 7 representative VL tasks for experiments, including visual question answering, visual commonsense reasoning, visual entailment, referring expression comprehension, image-text retrieval, GQA, and NLVR$^2$. Through comprehensive analysis, we summarize our main findings as follows. ($i$) It is difficult to find subnetworks that strictly match the performance of the full model. However, we can find "relaxed" winning tickets at 50%-70% sparsity that maintain 99% of the full accuracy. ($ii$) Subnetworks found by task-specific pruning transfer reasonably well to the other tasks, while those found on the pre-training tasks at 60%/70% sparsity transfer universally, matching 98%/96% of the full accuracy on average over all the tasks. ($iii$) Besides UNITER, other models such as LXMERT and ViLT can also play lottery tickets. However, the highest sparsity we can achieve for ViLT is far lower than LXMERT and UNITER (30% vs. 70%). ($iv$) LTH also remains relevant when using other training methods (e.g., adversarial training).

연구 동기 및 목표

• 대규모 시각-언어(VL) 사전 훈련 모델, 예를 들어 UNITER, LXMERT, ViLT와 같은 모델에 대해 로또 티켓 가설(LTH)이 적용되는지 조사하기.
• 전체 모델의 성능과 유사하거나 이를 거의 도달하는 훈련 가능한 하위망구조(승리의 티켓)가 VL 모델 내에서 식별될 수 있는지 확인하기.
• 이러한 하위망구조의 다양한 VL 최종 작업 및 사전 훈련 작업 간 전이성 평가하기.
• LTH가 다양한 모델 아키텍처(일체형 스트림 대 이중 스트림) 및 훈련 전략(예: 적대적 훈련)과 호환되는지 평가하기.

제안 방법

• 반복적인 크기 기반 프루닝(IMP)을 사용하여 훈련된 VL 모델 내 하위망구조를 식별하기 위해 반복적으로 훈련, 프루닝, 재훈련을 수행한다.
• 재훈련 시 식별된 하위망구조에 원본 사전 훈련 가중치를 초기화로 사용하여 성능를 검증한다.
• 각 최종 작업에 대해 별도로 IMP를 적용하여 작업별 승리의 티켓을 찾고, 사전 훈련 작업에 대해 적용하여 작업에 종속되지 않는 티켓을 찾는다.
• 표준 교차 엔트로피 훈련과 적대적 훈련을 통해 발견된 티켓의 성능를 비교하여 내성적 강건성 평가하기.
• 하위망구조를 한 작업에서 훈련한 후 다른 최종 작업에서 테스트하여 전이성 평가하고 정확도 유지율 측정하기.
• 작업 간 희박도 패턴과 유사도 분석을 통해 VL 모델 내 공통된 인도크티브 바이어스 이해하기.

실험 결과

연구 질문

• RQ1 VISION-AND-LANGUAGE 사전 훈련 모델, 예를 들어 UNITER, LXMERT, ViLT에서 승리의 티켓을 찾을 수 있는가?
• RQ2 사전 훈련 작업에서 훈련된 하위망구조는 보편적으로 최종 VL 작업으로 전이 가능한가?
• RQ3 모델 아키텍처(예: 일체형 스트림 대 이중 스트림)는 승리의 티켓의 희박도와 성능에 영향을 미치는가?
• RQ4 적대적 훈련 하에서 시각-언어 모델에서 로또 티켓 가설이 여전히 유효한가?

주요 결과

• 50–70%의 희박도에서 하위망구조가 전체 모델의 99% 정확도를 달성하여 VL 모델 내에서 '유연한' 승리의 티켓 존재를 시사한다.
• 사전 훈련 작업에서 발견된 승리의 티켓은 보편적으로 전이되며, 각각 60%와 70% 희박도에서 전체 모델의 98% 및 96% 정확도를 달성한다.
• ViLT의 경우 최고 희박도가 단지 30%에 불과하여 LXMERT와 UNITER(70%)에 비해 현저히 낮은데, 이는 엔드 투 엔드 패치 기반 입력과 통합 트랜스포머 아키텍처 때문이다.
• 적대적 훈련을 통해 80%와 70% 희박도에서 발견된 승리의 티켓이 각각 표준 훈련 티켓의 70%와 60% 희박도 성능을 도달하여, 적대적 훈련에 대해 강건함을 시사한다.
• 작업별 승리의 티켓은 최종 작업 간 상당한 수준의 전이 성능를 보이며, 사전 훈련 기반 티켓은 항상 작업별 티켓보다 뛰어난 전이 성능를 보인다.
• 70% 희박도에서 보편 하위망구조의 평균 정확도가 전체 모델의 96%를 달성하며, VCR를 제외한 모든 일곱 개의 VL 작업에서 99%의 정확도를 기록한다.