[논문 리뷰] From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding

Wenzhao Xiang, Yue Wu외 4명|arXiv (Cornell University)|2026. 03. 10.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

C2FMAE는 시맨틱 마스크, 인스턴스 마스크, RGB 이미지 간에 계층적 시각 표현을 학습하기 위해 캐스케이딩 디코더와 점진적 마스킹을 갖춘 거친-정밀 마스크드 오토인코더를 도입하여 분류, 탐지 및 분할에서 강력한 성능 향상을 달성합니다.

ABSTRACT

Self-supervised visual pre-training methods face an inherent tension: contrastive learning (CL) captures global semantics but loses fine-grained detail, while masked image modeling (MIM) preserves local textures but suffers from "attention drift" due to semantically-agnostic random masking. We propose C2FMAE, a coarse-to-fine masked autoencoder that resolves this tension by explicitly learning hierarchical visual representations across three data granularities: semantic masks (scene-level), instance masks (object-level), and RGB images (pixel-level). Two synergistic innovations enforce a strict top-down learning principle. First, a cascaded decoder sequentially reconstructs from scene semantics to object instances to pixel details, establishing explicit cross-granularity dependencies that parallel decoders cannot capture. Second, a progressive masking curriculum dynamically shifts the training focus from semantic-guided to instance-guided and finally to random masking, creating a structured learning path from global context to local features. To support this framework, we construct a large-scale multi-granular dataset with high-quality pseudo-labels for all 1.28M ImageNet-1K images. Extensive experiments show that C2FMAE achieves significant performance gains on image classification, object detection, and semantic segmentation, validating the effectiveness of our hierarchical design in learning more robust and generalizable representations.

연구 동기 및 목표

• 자기지도 학습 사전학습에서 전역적 시맨틱 이해와 미세한 시각 세부 정보를 통합할 필요성을 동기 부여한다.
• 시맨틱 마스크, 인스턴스 마스크, RGB 이미지의 세 가지 데이터 세분화를 활용하는 계층적 사전학습 프레임워크를 제안한다.
• 캐스케이딩 디코더와 점진적 마스킹 커리큘럼을 통해 상향식(top-down) 학습 원리를 강제한다.
• 계층적 사전학습이 분류, 탐지, 분할 작업 전반에서 강인한 표현을 산출함을 입증한다.

제안 방법

• 공유 ViT 인코더에 RGB, 인스턴스 마스크, 시맨틱 마스크의 세 가지 세분 입력을 사용한다.
• 거칠게-정밀한 정제를 강제하기 위해 시맨틱 마스크, 인스턴스 마스크, RGB 이미지를 순차적으로 재구성하는 캐스케이딩 디코더를 사용한다.
• 적응 가중치로 제어되는 시맨틱 가이드, 인스턴스 가이드, 무작위 마스킹 단계가 포함된 상향식(progressive) 마스킹 전략을 구현하여 학습 중 초점을 전환한다.
• ImageNet-1K(1.28M 이미지)에 대해 정렬된 인스턴스 및 시맨틱 분할 의사레이블을 생성하여 대규모 다-세분 데이터셋을 구성한다.
• 시맨틱, 인스턴스, RGB 재구성 손실을 결합한 다중 작업 목표로 학습하고 λ_S, λ_I, λ_R 가중치로 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 거친-정밀 사전학습 프레임워크가 높은 수준의 시맨틱과 미세한 세부 정보를 하나로 합쳐 다운스트림 작업을 개선할 수 있는가?
• RQ2 캐스케이딩 디코더가 평행한 다중 모달 디코더보다 계층적 정보 흐름을 더 잘 강제하는가?
• RQ3 계층적 목표와 일치하는 점진적 마스킹이 주의 흐름의 편향을 완화하고 표현 품질을 향상시키는가?
• RQ4 C2FMAE는 MAE 및 MultiMAE와 비교해 이미지 분류, 객체 탐지, 시맨틱 분할에서 어떤 성능을 보이는가?
• RQ5 다중 세분 학습 데이터가 다운스트림 작업 성능에 미치는 영향은 무엇인가?

주요 결과

Method	Model	Modality	Masking	PT Epoch	PT Cost	Acc.
Scratch	ViT-B	-	-	-	-	82.3'],[	MoCo v3	ViT-B	RGB	-	300	-	83.2
DINO	ViT-B	RGB	-	300	-	82.8
BEiT	ViT-B	RGB	Random	800	~7.0x	83.2
MAE	ViT-B	RGB	Random	400	~1.0x	82.9
MAE	ViT-B	RGB	Random	1600	~4.0x	83.6
iBOT	ViT-B	RGB	Random	1600	~5.7x	84.0
UnMAE	ViT-B	RGB	Uniform	200	-	82.9
CAE	ViT-B	RGB	Random	800	~4.6x	83.6
MaskFeat	ViT-B	RGB	Random	1600	~20.1x	84.0
SemMAE	ViT-B	RGB	Semantic	800	-	83.3
AutoMAE	ViT-B	RGB	Semantic	800	-	83.3
ConMIM	ViT-B	RGB	Random	800	~4.4x	83.7
MIRL	ViT-B	RGB	Random	800	-	84.1
ROPIM	ViT-B	RGB	Random	800	~10.4x	84.0
MFM	ViT-B	RGB/Frequency	Random	300	~1.1x	83.1
MultiMAE*	ViT-B	RGB/Dep./Sem.	Random	400	~1.3x	82.7
MultiMAE	ViT-B	RGB/Dep./Sem.	Random	1600	~5.2x	83.3
C2FMAE	ViT-B	RGB/Inst./Sem.	Progressive	400	~1.3x	83.7
C2FMAE	ViT-B	RGB/Inst./Sem.	Progressive	1600	~5.2x	84.2
C2FMAE dagger	ViT-B	RGB/Inst./Sem.	Progressive	1600	~5.2x	84.4

• C2FMAE는 ImageNet-1K에서 400 및 1600 에폭의 사전학습 에폭에서 각각 83.7% 및 84.2%의 파인튜닝 정확도를 달성하며 MAE 및 MultiMAE를 능가한다.
• C2FMAE는 COCO 객체 탐지 및 인스턴스 분할에서 MAE 대비 +1.8 APb 및 +1.6 APm, 그리고 MultiMAE 대비 +2.0 APb / +1.9 APm의 이득을 산출한다.
• ADE20K 시맨틱 분할에서 C2FMAE는 49.1% mIoU로 MAE보다 1.0% 포인트, MultiMAE보다 1.3% 포인트 높다.
• 400-에폭 C2FMAE는 MAE의 1600-에폭 모델보다 정확도에서 앞서지만(83.7% 대 83.6%), 학습 비용은 MultiMAE와 유사하고 MAE의 약 1.3배에 불과하다.
• RGB/Inst/Sem 입력을 사용하는 C2FMAE는 태스크 간 강인하고 더 우수한 계층적 표현 학습 능력을 보여준다.
• 단편적 연구 결과에 따르면 데이터셋 및 아키텍처 구성 요소를 추가하면 MultiMAE 베이스라인보다 점진적으로 성능이 향상된다.