[논문 리뷰] Emergence of Segmentation with Minimalistic White-Box Transformers

Yaodong Yu, Tianzhe Chu외 5명|arXiv (Cornell University)|2023. 08. 30.

Advanced Memory and Neural ComputingEngineering인용 수 3

한 줄 요약

이 논문은 복잡한 자기지도 학습 목표 없이도 표준 지도 학습을 통해 최소화된 화이트박스 트랜스포머 아키텍처인 CRATE에서 분할 성질이 유도됨을 보여준다. 희박 코딩과 최적화의 풀이를 기반으로 한 수학적으로 해석 가능한 설계 덕분에, 자기주의 맵에서 개체 수준 및 부분 수준의 분할이 유도되며, 이는 해석 가능한 기초 모델을 위한 새로운 길을 여는 바이다.

ABSTRACT

Transformer-like models for vision tasks have recently proven effective for a wide range of downstream applications such as segmentation and detection. Previous works have shown that segmentation properties emerge in vision transformers (ViTs) trained using self-supervised methods such as DINO, but not in those trained on supervised classification tasks. In this study, we probe whether segmentation emerges in transformer-based models solely as a result of intricate self-supervised learning mechanisms, or if the same emergence can be achieved under much broader conditions through proper design of the model architecture. Through extensive experimental results, we demonstrate that when employing a white-box transformer-like architecture known as CRATE, whose design explicitly models and pursues low-dimensional structures in the data distribution, segmentation properties, at both the whole and parts levels, already emerge with a minimalistic supervised training recipe. Layer-wise finer-grained analysis reveals that the emergent properties strongly corroborate the designed mathematical functions of the white-box network. Our results suggest a path to design white-box foundation models that are simultaneously highly performant and mathematically fully interpretable. Code is at \url{https://github.com/Ma-Lab-Berkeley/CRATE}.

연구 동기 및 목표

• 비전 트랜스포머에서 분할 성질이 복잡한 자기지도 학습에 의해만 유도되는지, 아니면 순수하게 아키텍처 설계에 의해도 유도될 수 있는지 조사하기 위해.
• 화이트박스 트랜스포머 아키텍처가 자기지도 사전학습이나 분할 전용 감독 없이도 분할 유도를 달성할 수 있는지 평가하기 위해.
• 수학적으로 해석 가능한 아키텍처에서 최소화된 지도 학습을 통해 분할 인식 표현을 도출할 수 있음을 보여주기 위해.
• 데이터의 구조를 명시적으로 모델링함으로써 성능이 뛰어나고 완전히 해석 가능한 기초 모델을 설계하는 프레임워크를 구축하기 위해.

제안 방법

• CRATE 아키텍처는 희박한 비율 감소 목표에 대한 최적화를 풀이함으로써 유도되며, 데이터 분포 내의 저차원 구조를 명시적으로 모델링한다.
• CRATE의 각 레이어는 학습 가능한 사전과 희박화를 사용하여 구조적 압축을 수행하며, 구성 요소들이 모두 수학적으로 해석 가능하도록 설계되어 있다.
• 모델은 [CLS] 토큰과 패치 임베딩을 사용하는 멀티헤드 자기주의 메커니즘을 사용하며, 주의 맵을 레이저링(derasterization)하여 분할 행동을 시각화한다.
• 아키텍처는 다중 스케일 자기주의(MSSA) 블록과 ISTA 기반 블록을 포함하며, 한 변형에서는 소프트 스레시홀딩 활성화를 사용한다.
• 훈련은 이미지넷에서 교차 엔트로피 손실을 사용한 표준 지도 분류 학습을 통해 수행되며, 분할 애너테이션이나 자기지도 구성 요소는 전혀 사용하지 않는다.
• 레이어별 분석과 아블레이션 연구를 통해 유도된 주의 패턴이 모델의 설계된 수학적 기능과 상관 관계가 있음을 확인한다.

실험 결과

연구 질문

• RQ1 자기지도 사전학습 없이도 아키텍처 설계와 지도 미세조정만으로도 비전 트랜스포머에서 분할 성질이 유도될 수 있는가?
• RQ2 화이트박스 트랜스포머 아키텍처의 수학적 해석 가능성은 주의 맵에서 의미 분할의 유도에 얼마나 기여하는가?
• RQ3 CRATE와 같은 화이트박스 트랜스포머의 주의 헤드는 객체의 구체적인 의미적 부분과 어떻게 대응하는가?
• RQ4 CRATE의 유도된 분할 행동은 노이즈가 있는 입력 조건에서도 유지되는가? 이는 입력 변형에 대한 강건성을 시사한다.
• RQ5 분할의 유도에 필수적인 아키텍처 구성 요소는 무엇이며, 표준 ViT 구성 요소와 비교해 봤을 때 어떤가?

주요 결과

• CRATE의 자기주의 맵은 지도 학습만으로도 명확한 개체 수준 및 부분 수준의 분할을 보이며, DINO에서 관찰된 것과 유사한 정성적 행동을 보인다.
• 레이어별 분석 결과, CRATE의 개별 주의 헤드는 가장자리, 질감, 또는 객체 구성 요소와 같은 다양한 의미적 부분에 특화되어 있음을 확인했다.
• 입력 픽셀의 최대 50%가 가우시안 노이즈로 손상된 상황에서도 모델은 여전히 분할 인식 주의 맵을 유지하며 강건성을 보였다.
• 아블레이션 연구 결과, MSSA 블록이 분할 유도에 필수적이며, ISTA 블록의 ReLU를 소프트 스레시홀딩으로 대체해도 분할 행동이 유지됨을 확인했다.
• COCO val2017에서 CRATE는 표준 ViT보다 주의 맵 품질이 뛰어나며, 훈련 에포크가 진행될수록 분할 성능이 점진적으로 향상되었다.
• CRATE의 펜ultimate 레이어 특징은 사활성 및 객체 경계와 강하게 상관되어 있어, 분할 성질이 훈련 레시피가 아닌 모델의 설계에 기인함을 확인했다.