[논문 리뷰] Conditional Set Generation with Transformers

Adam R. Kosiorek, Hyunjik Kim외 1명|arXiv (Cornell University)|2020. 06. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 24

한 줄 요약

이 논문은 점군 생성 및 객체 검출 작업에서 정확도와 강인성 향상에 기여하는 조건부 집합 생성을 위한 순열에 대한 불변성을 갖는 모델인 Transformer Set Prediction Network(TSPN)을 제안한다. TSPN은 Deep Set Prediction Network(DSPN)의 기울기 기반 최적화 방식을 대체하여 학습 가능한 Transformer 기반 변환을 도입한다. 이로 인해 생성 품질과 훈련 과정에서 볼 수 없었던 집합 크기로의 일반화 능력이 향상되어 성능이 뛰어나다.

ABSTRACT

A set is an unordered collection of unique elements--and yet many machine learning models that generate sets impose an implicit or explicit ordering. Since model performance can depend on the choice of order, any particular ordering can lead to sub-optimal results. An alternative solution is to use a permutation-equivariant set generator, which does not specify an order-ing. An example of such a generator is the DeepSet Prediction Network (DSPN). We introduce the Transformer Set Prediction Network (TSPN), a flexible permutation-equivariant model for set prediction based on the transformer, that builds upon and outperforms DSPN in the quality of predicted set elements and in the accuracy of their predicted sizes. We test our model on MNIST-as-point-clouds (SET-MNIST) for point-cloud generation and on CLEVR for object detection.

연구 동기 및 목표

• 기존의 집합 생성 모델이 암시적 또는 명시적 순서를 부여함으로써 책임 문제로 인해 최적의 성능을 내지 못하는 한계를 해결하기 위해.
• 자신의 순서에 대해 불변성을 갖는 더 표현력 있고 유연한 집합 예측 모델을 개발하여, 훈련 중에 관찰되지 않은 집합 크기로도 일반화할 수 있도록 하기 위해.
• DSPN의 고정된 초기 집합과 기울기 하강 최적화 방식의 단점을 극복하여 표현력과 확장성을 향상시키기 위해.
• 국소 최솟값 문제를 피할 수 있는 원칙적인 방법으로 집합의 기수를 학습하여 동적이고 정확한 크기 예측을 가능하게 하기 위해.
• set-MNIST 자동에코딩 및 CLEVR 객체 검출과 같은 조건부 집합 생성 작업에서 뛰어난 성능을 입증하기 위해.

제안 방법

• TSPN은 DSPN의 기울기 기반 업데이트 메커니즘을 대체하여, 초기 집합 원소들에 대해 동시적으로 순열에 대한 불변성을 유지하는 학습 가능한 Transformer 인코더-디코더 아키텍처를 사용한다.
• 모델은 초기 집합 원소들에 대한 분포를 학습함으로써 테스트 시 원하는 기수의 초기 집합을 샘플링할 수 있게 되어, 동적 기수 일반화가 가능해진다.
• 기수 예측은 엔드 투 엔드로 학습 가능한 헤드를 통해 이루어지며, DSPN의 기수 학습 방식에서 발생하는 국소 최솟값 문제를 피한다.
• 모델은 학습된 초기 집합 분포를 사용하고, 다중 헤드 자기주의 어텐션과 피드포워드 네트워크를 적용하여 원소들을 순서에 대한 불변성을 유지하면서 업데이트한다.
• 훈련은 입력 특징을 위해 ResNet-34 인코더를 사용한 Chamfer 손실을 기반으로 하며, Adam을 사용한 표준 backpropagation로 최적화된다.
• 아키텍처는 확장성과 일반화 능력을 고려하여 설계되었으며, 각 레이어 간의 파라미터 공유 없이 표현 능력을 유지한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처가 기울기 기반 최적화 방식보다 집합 예측 작업에서 성능을 뛰어나게 하면서도 순서에 대한 불변성을 유지할 수 있는가?
• RQ2 엔드 투 엔드로 기수를 학습하는 것이 훈련 중에 관찰되지 않은 집합 크기로의 일반화 능력을 향상시키는가?
• RQ3 고정된 초기 집합 대비 분포 기반의 초기 집합 샘플링 전략이 모델의 유연성과 성능 향상에 기여하는가?
• RQ4 TSPN은 점군 및 객체 검출 벤치마크에서 DSPN과 c-DSPN에 비해 생성 품질과 강인성 면에서 어떻게 비교되는가?
• RQ5 TSPN은 훈련 분포보다 훨씬 큰 집합 크기로의 외삽 능력이 어느 정도까지 가능한가?

주요 결과

• CLEVR 객체 검출에서 TSPN은 기수 RMSE 0.58을 기록하여 c-DSPN(1.74)과 DSPN(2.53)을 크게 앞서며 기수 예측 능력이 뛰어남을 보여준다.
• CLEVR에서 TSPN은 AP50 81.2를 달성하여 c-DSPN(71.6)과 DSPN(67.7)에 비해 상당한 성능 향상을 보이며 더 높은 객체 검출 정확도를 입증한다.
• set-MNIST에서 TSPN은 1000개의 점까지의 집합 크기로도 효과적으로 일반화되며, c-DSPN는 훈련 집합 크기 이상으로 일반화하지 못함을 보여, 더 뛰어난 외삽 능력을 지님.
• TSPN은 훈련 과정에서 관찰된 기수와 크게 다른 기수의 집합 생성 시에도 성능이 안정적이고 정확하게 유지되며, c-DSPN는 이러한 조건에서 성능이 크게 떨어짐.
• set-MNIST에서 TSPN은 Chamfer 손실을 DSPN과 c-DSPN보다 크게 감소시켜 더 높은 품질의 점군 생성 능력을 보임.
• 제안된 기수 학습 방법은 국소 최솟값 문제를 피함을 입증하며, 다양한 테스트 세트 크기에서 일관되고 정확한 크기 예측이 이루어짐.