[논문 리뷰] Improving Pixel-based MIM by Reducing Wasted Modeling Capability

Yuan Liu, Songyang Zhang외 4명|arXiv (Cornell University)|2023. 08. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 비전 트랜스포머의 얕은 층에서 유도된 저수준 특징을 명시적으로 통합함으로써 픽셀 기반 마스킹 이미지 모델링(MIM)에서 낭비되는 모델링 용량을 줄이기 위해 다중 수준 특징 융합(MFF)을 제안한다. 학습 가능한 동적 가중 평균 전략을 사용해 복수의 인코더 층에서 유도된 특징을 융합함으로써 MFF는 학습 효율성과 최종 성능을 향상시키며, ViT-S에서 선형 프로빙에 2.8% 향상, 세분화에 2.6% 향상, 미세조정에 1.2% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There has been significant progress in Masked Image Modeling (MIM). Existing MIM methods can be broadly categorized into two groups based on the reconstruction target: pixel-based and tokenizer-based approaches. The former offers a simpler pipeline and lower computational cost, but it is known to be biased toward high-frequency details. In this paper, we provide a set of empirical studies to confirm this limitation of pixel-based MIM and propose a new method that explicitly utilizes low-level features from shallow layers to aid pixel reconstruction. By incorporating this design into our base method, MAE, we reduce the wasted modeling capability of pixel-based MIM, improving its convergence and achieving non-trivial improvements across various downstream tasks. To the best of our knowledge, we are the first to systematically investigate multi-level feature fusion for isotropic architectures like the standard Vision Transformer (ViT). Notably, when applied to a smaller model (e.g., ViT-S), our method yields significant performance gains, such as 1.2\% on fine-tuning, 2.8\% on linear probing, and 2.6\% on semantic segmentation. Code and models are available at https://github.com/open-mmlab/mmpretrain.

연구 동기 및 목표

• MAE와 같은 픽셀 기반 MIM 방법이 고주파 세부 정보와 저수준 특징을 향유하는 본질적 편향을 해결하기 위해.
• 얕은 층의 다중 수준 특징을 활용해 픽셀 재구성에서 낭비되는 모델링 용량을 줄이기 위해.
• 비등방성 아키텍처인 비전 트랜스포머에서 다중 수준 특징 융합을 체계적으로 조사하기 위해.
• 모델 복잡도를 증가시키지 않고도 최종 성능과 학습 효율성을 향상시키기 위해.

제안 방법

• 비전 트랜스포머 인코더의 출력 층과 선택된 얕은/중간 층의 특징을 융합하는 드롭인 솔루션인 다중 수준 특징 융합(MFF)을 제안한다.
• 재구성 중요도에 따라 사전 훈련 중에 업데이트되는 학습 가능한 동적 가중 평균 풀링 전략을 사용해 특징을 융합한다.
• 특징 분포를 층 간에 정렬하기 위해 융합 이전에 단순한 선형 투영 레이어를 적용하여 도메인 갭 문제를 방지한다.
• 표준 MAE 대비 최소한의 계산 오버헤드를 유발하는 경량 융합 메커니즘을 구현한다.
• 주파수 분석을 통해 고주파 콘텐츠가 풍부한 얕은 층(예: 레이어 0)가 주요 기여자로 확인되어, 이를 주로 선택한다.
• PixMIM로의 확장은 다양한 픽셀 기반 MIM 프레임워크에 대한 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 왜 픽셀 기반 MIM 방법들(예: MAE)은 고수준 의미론적 표현을 저수준으로 활용하는가?
• RQ2 다중 수준 특징 융합은 비전 트랜스포머에서 학습 역학과 손실 표면에 어떤 영향을 미치는가?
• RQ3 픽셀 재구성과 최종 성능 향상에 가장 적합한 층의 조합과 융합 전략은 무엇인가?
• RQ4 얕은 특징 융합은 재구성 정밀도를 희생시키지 않고도 모델의 저수준 세부 정보에 대한 과도한 의존도를 줄일 수 있는가?
• RQ5 다중 수준 융합은 분포 외 데이터에 대한 일반화 능력과 강건성을 향상시키는가?

주요 결과

• 출력 층과 얕은 층(예: 레이어 0)의 특징을 융합함으로써 ViT-S에서 표준 MAE 대비 선형 프로빙 정확도가 2.8% 향상된다.
• 세분화 정확도는 ViT-S에서 2.6% 향상되었으며, 동일한 모델에서 미세조정 정확도는 1.2% 향상되었다.
• MFF를 사용한 사전 훈련은 표준 MAE가 1600 에포크를 소요하는 성능을 오직 300 에포크 만에 달성하여 학습 시간을 약 5배 감소시켰다.
• 학습된 특징에서 고주파 정보가 감소하고 손실 표면이 평탄해져 최적화 안정성이 향상된다.
• 분포 외 데이터에 대한 강건성이 향상되었으며, MFFMAE는 ImageNet-S에서 상위 1 정확도 37.8%를 기록하여 MAE 대비 2.3% 향상되었다.
• 절단 실험 결과 선형 투영과 가중 평균 풀링이 성능와 효율성의 최적 균형을 이끌어내며, 비선형 투영과 주목력 기반 융합보다 뛰어난 성능을 보였다.