[논문 리뷰] FSPool: Learning Set Representations with Featurewise Sort Pooling

Yan Zhang, Jonathon Hare외 1명|arXiv (Cornell University)|2019. 06. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 34

한 줄 요약

FSPool은 가변 크기 세트를 위한 차별화 가능한 특징별 정렬 풀링 방법으로 순서를 바꿔도 동일하게 작동하는 자동 인코더를 가능하게 하고 책임 문제를 회피하여 다운스트림 태스크를 개선합니다. 여러 세트 기반 벤치마크에서 재구성을 개선하고 수렴 속도를 높임을 시연합니다.

ABSTRACT

Traditional set prediction models can struggle with simple datasets due to an issue we call the responsibility problem. We introduce a pooling method for sets of feature vectors based on sorting features across elements of the set. This can be used to construct a permutation-equivariant auto-encoder that avoids this responsibility problem. On a toy dataset of polygons and a set version of MNIST, we show that such an auto-encoder produces considerably better reconstructions and representations. Replacing the pooling function in existing set encoders with FSPool improves accuracy and convergence speed on a variety of datasets.

연구 동기 및 목표

• 기존의 세트 예측 모델에서의 책임 문제와 그것이 간단한 세트 태스크 학습에 미치는 영향을 식별한다.
• 가변 크기 세트를 위한 차별화 가능한 정렬 기반 풀링 메커니즘인 FSPool을 제안한다.
• 표준 재구성 손실로도 FSPool이 순열-등가 자동 인코더를 가능하게 함을 보인다.
• 다각형, MNIST-set, CLEVR, 그래프 데이터셋에서 재구성 품질 및 수렴 속도 향상을 시연한다.
• 표준 풀링을 FSPool로 교체하는 것이 기존 모델의 이점에 미치는 효과를 탐구한다.

제안 방법

• 세트 원소 간 각 특징을 정렬하여 순열 불변 표현을 얻는다.
• 정렬된 특징에 학습 가능한 가중치 행렬을 적용해 풀링 벡터를 생성한다.
• 세트 크기에 독립적인 가중치를 생성하기 위해 연속적인 부분 선형 보정기를 사용하여 가변 크기 세트에 풀링을 확장한다.
• 오토인코더 모드에서 인코더 정렬 순열을 저장하고 미분 가능한 정렬 네트워크를 사용해 미분 가능한 디코더를 가능하게 하며 디코딩 시 역순열을 적용한다.
• 잠재 정보를 가변 크기 세트로 분배하고 원래 순서를 재구성하기 위해 FSUnpool을 활용한다.

실험 결과

연구 질문

• RQ1 특징별 정렬 풀링 표현이 전통적인 세트 인코더/디코더에서 문제가 되는 책임 문제를 피할 수 있는가?
• RQ2 FSPool이 간단한 다각형 세트에서 재구성 오차를 거의 0에 가깝게 만들고 MNIST-set 및 기타 세트 기반 벤치마크에서 재구성을 개선하는가?
• RQ3 표준 풀링을 FSPool로 교체하는 것이 CLEVR, 그래프 분류, 세트 예측 네트워크와 같은 작업의 성능 및 수렴에 어떤 영향을 미치는가?

주요 결과

• FSPool은 다각형 꼭짓점 세트를 거의 완벽하게 재구성 가능하게 하여 기존 세트 인코더/디코더에서 관찰된 책임 문제를 해결한다.
• 잡음이 있는 MNIST-set 자동 인코딩에서 FSPool–FSUnpool이 합계 풀링 기반 베이스라인보다 재구성 품질이 우수하다.
• MNIST-set 분류에서 고정된 사전 학습 인코딩에 FSPool를 결합하면 베이스라인보다 더 높은 정확도와 더 빠른 수렴을 보인다.
• CLEVR에서 FSPool 기반 모델이 여러 베이스라인(RN, Janossy 풀링)을 상회하는 정확도와 더 빠른 에포크 진행을 보인다.
• 그래프 분류(GIN 베이스라인)에서 풀링을 FSPool로 교체하면 여러 데이터셋에서 정확도가 향상되고 수렴 속도가 빨라지며, CLEVR 기반 세트 예측 작업에서도 인코더에 사용할 때 우수한 결과를 얻는다.