[논문 리뷰] Masked Modeling for Self-supervised Representation Learning on Vision and Beyond

Siyuan Li, Luyuan Zhang외 9명|arXiv (Cornell University)|2023. 12. 31.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 종합 검토는 시각, 자연어 처리(NLP), 음성 및 기타 모odalities 전반에 걸쳐 자기지도 학습에서의 마스킹 모델링(MIM)에 대한 포괄적인 리뷰를 제시한다. 마스킹 전략, 재구성 목표, 아키텍처 등의 기법을 체계화하고, NLP에서의 MIM의 지배적 지위와 시각 분야에서의 점증적 영향을 강조하며, 해석 가능성, 다중모odal 통합, 고차원 데이터 확장과 같은 핵심 과제와 향후 방향성을 규명한다.

ABSTRACT

As the deep learning revolution marches on, self-supervised learning has garnered increasing attention in recent years thanks to its remarkable representation learning ability and the low dependence on labeled data. Among these varied self-supervised techniques, masked modeling has emerged as a distinctive approach that involves predicting parts of the original data that are proportionally masked during training. This paradigm enables deep models to learn robust representations and has demonstrated exceptional performance in the context of computer vision, natural language processing, and other modalities. In this survey, we present a comprehensive review of the masked modeling framework and its methodology. We elaborate on the details of techniques within masked modeling, including diverse masking strategies, recovering targets, network architectures, and more. Then, we systematically investigate its wide-ranging applications across domains. Furthermore, we also explore the commonalities and differences between masked modeling methods in different fields. Toward the end of this paper, we conclude by discussing the limitations of current techniques and point out several potential avenues for advancing masked modeling research. A paper list project with this survey is available at \url{https://github.com/Lupin1998/Awesome-MIM}.

연구 동기 및 목표

• 다양한 모달리티에 걸쳐 자기지도 표현 학습에서의 마스킹 모델링(MIM)에 대한 통합적이고 종합적인 검토를 제공하기 위해.
• 마스킹 전략, 재구성 목표, 네트워크 아키텍처, 토크나이제이션 방법 등 MIM의 핵심 구성요소를 체계화하고 비교하기 위해.
• 시각, NLP, 다중모달 학습 등에서 MIM의 발전 과정과 현재 상태를 분석하여, 대비 학습에서 생성 학습 파라다임으로의 전환을 강조하기 위해.
• 해석 가능성, 이론적 기반, 계산 효율성 등의 열린 과제를 규명하고 향후 연구 방향을 제안하기 위해.
• 연구자들이 MIM 연구를 지원하기 위해 종합적인 논문 목록과 프로젝트 레포지터리를 정리하기 위해 (https://github.com/Lupin1998/Awesome-MIM).

제안 방법

• MIM을 생성형과 판별형 파라다임으로 분류하며, 특히 NLP에서 지배적이고 점점 시각 분야에서도 확산되는 생성형 MIM에 중점을 둔다.
• 랜덤, 블록, 또는 학습된 마스킹과 같은 마스킹 전략을 검토하고, 다양한 모달리티에서 표현 품질에 미치는 영향을 분석한다.
• 픽셀 수준, 패치 수준, 토큰 수준의 재구성 목표를 분석하며, MAE와 BERT 스타일의 목표에 특별한 주목을 기울인다.
• ViT 및 Transformer 백본과 같은 아키텍처 구성요소를 분석하고, 효율적인 데이터 압축을 위한 VQ 기반 모델의 통합을 고려한다.
• 대비 학습(CL)과 MIM을 비교하며, 이론적 기반, 작업 명확성, 계산 비용의 차이점을 강조한다.
• 최신 다중모달 MIM 프레임워크를 탐색하며, 중심 모달리티에 대응하거나 디퓨전 기반 정렬을 사용하는 방식을 다루고, 3D/4D 데이터 확장 시 기술적 과제를 논의한다.

실험 결과

연구 질문

• RQ1 마스킹, 토크나이제이션, 재구성 전략 측면에서 시각, NLP, 음성, 그래프 등 다양한 모달리티 간에 마스킹 모델링은 어떻게 다를까?
• RQ2 자기지도 사전학습에서 MIM의 성공에 기여하는 핵심 기술적 구성요소와 설계 선택은 무엇인가?
• RQ3 대비 학습이 이전에 지배적이었음에도 불구하고, 왜 MIM은 NLP에서 지배적이고 시각 분야에서도 점점 확산되고 있는가?
• RQ4 특히 대비 학습과 비교했을 때 MIM의 해석 가능성에 있어 주요 이론적·실용적 과제는 무엇인가?
• RQ5 다중모달 학습과 고차원 데이터 분야에서 MIM의 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 마스킹 모델링은 BERT(2018) 이후 NLP에서 지배적 패러다임이 되었고, ViT(2021) 이후에는 특히 MAE를 통해 컴퓨터 비전 분야에서도 주요 접근법이 되었다.
• MIM의 성공은 마스킹 재구성 기반으로 강력하고 이식 가능한 표현을 학습할 수 있다는 점에 기인하며, 일부 비전 벤치마크에서 대비 학습을 능가하는 성능을 보였다.
• 강력한 실험적 성능에도 불구하고 MIM는 통합된 이론적 설명이 부족하며, 현재 해석은 특정 작업이나 경험적 관찰에 국한되어 있다.
• MIM과 VQ 기반 모델의 통합은 영상 및 3D 포인트 클러스터 학습에서 주목할 만한 추세로 부상하고 있으며, 더 효율적인 데이터 압축과 재구성 가능성을 제공한다.
• 다중모달 MIM는 중심 모달리티에 대한 모달리티 정렬이나 디퓨전 기반 방법 등 새로운 패러다임을 통해 진화하고 있으며, 기술적 과제는 여전히 존재한다.
• 현재 MIM 방법은 대비 학습의 명확한 InfoNCE 목표와 통합 아키텍처에 비해 높은 계산 비용과 낮은 해석 가능성 문제를 겪고 있다.