[논문 리뷰] DropPos: Pre-Training Vision Transformers by Reconstructing Dropped Positions

Haochen Wang, Junsong Fan외 4명|arXiv (Cornell University)|2023. 09. 07.

Advanced Neural Network Applications인용 수 4

한 줄 요약

DropPos는 랜덤으로 제거된 위치 임베딩의 위치를 복원함으로써 시공간 추론 능력을 향상시키는 비지도 사전학습 태스크를 제안한다. 패치를 마스킹하고 그에 해당하는 위치 임베딩을 제거함으로써, 모델은 시각적 외관만으로 원래의 위치를 예측하도록 유도된다. 이로 인해 800개의 사전학습 에포크만으로 ImageNet-1K에서 84.2%의 top-1 정확도를 기록하며, MAE보다 +0.6% 높은 최신 기준 성능을 달성한다.

ABSTRACT

As it is empirically observed that Vision Transformers (ViTs) are quite insensitive to the order of input tokens, the need for an appropriate self-supervised pretext task that enhances the location awareness of ViTs is becoming evident. To address this, we present DropPos, a novel pretext task designed to reconstruct Dropped Positions. The formulation of DropPos is simple: we first drop a large random subset of positional embeddings and then the model classifies the actual position for each non-overlapping patch among all possible positions solely based on their visual appearance. To avoid trivial solutions, we increase the difficulty of this task by keeping only a subset of patches visible. Additionally, considering there may be different patches with similar visual appearances, we propose position smoothing and attentive reconstruction strategies to relax this classification problem, since it is not necessary to reconstruct their exact positions in these cases. Empirical evaluations of DropPos show strong capabilities. DropPos outperforms supervised pre-training and achieves competitive results compared with state-of-the-art self-supervised alternatives on a wide range of downstream benchmarks. This suggests that explicitly encouraging spatial reasoning abilities, as DropPos does, indeed contributes to the improved location awareness of ViTs. The code is publicly available at https://github.com/Haochen-Wang409/DropPos.

연구 동기 및 목표

• 비전 트랜스포머가 토큰 순서에 대해 경험적으로 민감하지 않다는 점을 해결하기 위해.
• 비전 트랜스포머에서 시공간 추론과 위치 이해 능력을 명시적으로 향상시키는 자기지도 사전학습 태스크를 설계하기 위해.
• 공선적 학습 및 마스킹된 이미지 모델링과 같은 기존 방법이 시공간 일반화를 촉진하는 데에 한계가 있음을 극복하기 위해.
• 위치 인식 표현 학습에서의 사전학습/피넷튜닝 불일치 문제와 잠재적인 단순한 해법을 방지하기 위해.
• 세그멘테이션 및 검출과 같이 강력한 시공간 추론 능력이 요구되는 비전 작업의 성능 향상을 위해.

제안 방법

• DropPos는 이미지 패치의 무작위 부분을 마스킹하고, 해당 패치에 대응하는 위치 임베딩을 제거함으로써, 모델이 각 가시 패치의 원래 위치를 예측하도록 유도한다.
• 모델은 패치 단위의 분류 작업을 수행하며, 시각적 특징과 일부 손상되지 않은 위치 임베딩을 가진 앵커 패치만을 사용하여 가능한 모든 위치 중에서 정확한 위치를 예측한다.
• 시각적 외관이 유사한 패치가 존재할 경우 분류 작업을 완화하기 위해 위치 스무딩을 적용하여 정확한 위치 복원이 필요 없도록 한다.
• 공간적 맥락에 초점을 맞추어 더 견고한 위치 예측을 유도하기 위해 주의 기반 복원 전략을 도입한다.
• 사전학습 중에 모든 위치 임베딩을 제거하지 않음으로써 사전학습/피넷튜닝 불일치 문제를 피한다. 이로써 부분적인 위치 신호를 유지한다.
• 비전 트랜스포머가 시각적 외관만으로 시공간 레이아웃과 형태적 관계를 학습하도록 유도하는 자기지도 학습 목표로 태스크를 수립한다.

실험 결과

연구 질문

• RQ1 시각적 외관만으로 위치를 명시적으로 복원하는 자기지도 사전학습 태스크가 비전 트랜스포머의 시공간 추론 능력과 위치 인식 능력을 향상시킬 수 있는가?
• RQ2 시각적 외관만으로 위치를 복원하는 것이 공선적 학습이나 마스킹된 이미지 모델링보다 더 나은 표현 학습을 이끌어낼 수 있는가?
• RQ3 시각적 특징만을 사용해 위치를 예측하도록 트레이닝할 경우, 단순한 해법을 방지할 수 있는가?
• RQ4 정확한 위치 예측이 필요 없이도, 패치 간 시각적 유사성에 대해 위치 복원을 어떻게 견고하게 만들 수 있는가?
• RQ5 향상된 위치 민감도가 시공간 이해가 요구되는 하류 비전 작업에서 더 나은 성능으로 이어지는가?

주요 결과

• DropPos는 800개의 사전학습 에포크만으로 ImageNet-1K에서 84.2%의 top-1 정확도를 달성하며, 1600개의 에포크로 사전학습한 MAE보다 +0.6% 높은 성능을 기록한다.
• COCO 객체 검출 및 인스턴스 세그멘테이션 벤치마크에서 DropPos는 일관되게 MAE를 능가하며, 향상된 시공간 추론 능력을 보여준다.
• ADE20k 세그멘테이션 벤치마크에서 DropPos는 800개의 사전학습 에포크로 47.8%의 mIoU를 기록하며, MAE를 +0.8% 초월한다.
• 선형 프로빙 실험 결과, DropPos로 사전학습한 모델는 피넷튜닝 후 위치 예측에서 88.0%의 top-1 정확도를 달성하여 더 강력한 시공간 모델링 능력을 보여준다.
• 정성적 결과는 DropPos가 극한의 마스킹 상황(γ=0.75)에서도 정확한 위치 복원이 가능함을 확인하여 견고성을 입증한다.
• 제거 분석 실험 결과, 향상된 위치 민감도가 하류 작업 성능 향상에 직접 기여함을 확인하여, 본 연구의 핵심 동기가 검증된다.