[논문 리뷰] PICASO: Permutation-Invariant Cascaded Attentional Set Operator

Samira Zare, Hien Van Nguyen|arXiv (Cornell University)|2021. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 1

한 줄 요약

PICASO는 순열에 불변이며 계단식으로 연결된 다중헤드 어텐션 세트 연산자로, 세트 원소 간의 고차원 상호작용을 동적으로 템플릿으로 형성하여 세트 기반 작업에서 성능을 크게 향상시킨다. 이는 새로운 시점에서의 이미지 분류(+10% 정확도), 이상 탐지(22% AUC-ROC 향상), 상태 예측(40% AP 향상)에서 최고 성능을 기록한다.

ABSTRACT

Set-input deep networks have recently drawn much interest in computer vision and machine learning. This is in part due to the increasing number of important tasks such as meta-learning, clustering, and anomaly detection that are defined on set inputs. These networks must take an arbitrary number of input samples and produce the output invariant to the input set permutation. Several algorithms have been recently developed to address this urgent need. Our paper analyzes these algorithms using both synthetic and real-world datasets, and shows that they are not effective in dealing with common data variations such as image translation or viewpoint change. To address this limitation, we propose a permutation-invariant cascaded attentional set operator (PICASO). The gist of PICASO is a cascade of multihead attention blocks with dynamic templates. The proposed operator is a stand-alone module that can be adapted and extended to serve different machine learning tasks. We demonstrate the utilities of PICASO in four diverse scenarios: (i) clustering, (ii) image classification under novel viewpoints, (iii) image anomaly detection, and (iv) state prediction. PICASO increases the SmallNORB image classification accuracy with novel viewpoints by about 10% points. For set anomaly detection on CelebA dataset, our model improves the areas under ROC and PR curves dataset by about 22% and 10%, respectively. For the state prediction on CLEVR dataset, it improves the AP by about 40%.

연구 동기 및 목표

• 이미지 이동 및 시점 변화와 같은 일반적인 데이터 변형에서 기존의 세트 입력 네트워크의 낮은 일반화 성능을 해결하기 위해.
• 세트 원소 간의 고차원 의존성을 포괄하는 학습 가능한 순열 불변 정보 집계 메커니즘을 개발하기 위해.
• 클러스터링, 분류, 이상 탐지, 상태 예측 등의 다양한 기계 학습 파ip라인에 통합될 수 있는 모듈형이고 독립적인 세트 연산자 설계하기 위해.
• 기존의 정적 템플릿 대비 동적 템플릿 학습이 어텐션 기반 세트 네트워크의 일반화 성능에 미치는 영향을 입증하기 위해.

제안 방법

• PICASO는 각 블록이 입력 데이터에 기반해 자체 어텐션 템플릿을 동적으로 생성하는 다중헤드 어텐션 블록의 계단식 연결을 활용하며, 이는 적응형 특징 집계를 가능하게 한다.
• 모델은 임의의 크기의 입력 세트를 처리하기 위해 반복적 업데이트와 가중치 공유를 갖는 일반화된 블록(GPB)을 사용한다.
• 각 어텐션 블록은 입력 원소로부터 쿼리, 키, 밸류를 계산하고 동적 템플릿을 사용해 관련 부분에 주목함으로써 순열 불변성을 확보한다.
• CNN 인코더와 통합 가능하며, 거리 계산 등의 추가 레이어와 조합하여 최종 작업 성능을 향상시킬 수 있다.
• 순열 불변 및 순열 등변 출력을 모두 지원하여 이상 탐지 및 객체 상태 예측과 같은 응용에 적합하다.
• 부드러운 K-평균 이론에 기반하여 특정 조건 하에서 PICASO가 클러스터링 유사 연산을 수행할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 이미지 이동 및 시점 변화와 같은 일반적인 데이터 변형 하에서 세트 입력 신경망이 일반화할 수 있는가?
• RQ2 기존 모델의 정적 템플릿 대비 어텐션 기반 메커니즘에서 동적 템플릿 학습이 일반화 성능을 향상시키는가?
• RQ3 학습 가능한 계단식 어텐션 메커니즘이 사전 설계된 풀링 및 어텐션 기반 집계 방식을 초월할 수 있는가?
• RQ4 단일 세트 연산자가 클러스터링, 분류, 이상 탐지, 상태 예측과 같은 다양한 작업에 얼마나 일반화될 수 있는가?
• RQ5 제안된 동적 어텐션 메커니즘은 세트 원소 간의 고차원 상호작용을 모델링할 수 있는가?

주요 결과

• SmallNORB 이미지 분류 작업에서 PICASO는 Set Transformer 대비 새로운 시점에서 약 10%p의 정확도 향상을 기록한다.
• CelebA 이상 탐지 벤치마크에서 PICASO는 기준 모델 대비 AUC-ROC 약 22% 향상되고 AUPR은 10% 향상된다.
• CLEVR 데이터셋에서의 상태 예측 작업에서 PICASO는 Set Transformer 대비 평균 정밀도(AP) 40% 향상된다.
• 세 단계의 업데이트와 가중치 공유를 갖는 일반화된 PICASO 블록(GPB)은 이상 탐지 작업에서 변수 크기의 세트를 효과적으로 처리할 수 있다.
• 정성적 분석 결과, PICASO는 중요한 원소를 효과적으로 강조하며, 어텐션 맵을 통해 의미 있는 특징 상호작용을 드러낸다.
• 모든 평가된 작업에서 Set Transformer, PMA, Slot Attention 등의 여러 베이스라인을 초월하여 강력한 일반화 성능과 내구성을 입증한다.