[논문 리뷰] Janossy Pooling: Learning Deep Permutation-Invariant Functions for Variable-Size Inputs

Ryan L. Murphy, Balasubramaniam Srinivasan외 2명|arXiv (Cornell University)|2018. 11. 05.

Machine Learning in Bioinformatics참고 문헌 46인용 수 65

한 줄 요약

논문은 순열-민감 함수의 출력을 모든 입력 순서에 대해 평균화하여 가변 크기 입력에 대한 순열 불변 함수를 학습하는 Janossy pooling을 소개하고, tractable 근사 및 학습 알고리즘을 제안한다.

ABSTRACT

We consider a simple and overarching representation for permutation-invariant functions of sequences (or multiset functions). Our approach, which we call Janossy pooling, expresses a permutation-invariant function as the average of a permutation-sensitive function applied to all reorderings of the input sequence. This allows us to leverage the rich and mature literature on permutation-sensitive functions to construct novel and flexible permutation-invariant functions. If carried out naively, Janossy pooling can be computationally prohibitive. To allow computational tractability, we consider three kinds of approximations: canonical orderings of sequences, functions with $k$-order interactions, and stochastic optimization algorithms with random permutations. Our framework unifies a variety of existing work in the literature, and suggests possible modeling and algorithmic extensions. We explore a few in our experiments, which demonstrate improved performance over current state-of-the-art methods.

연구 동기 및 목표

• 입력 순서에 불변하고 가변 길이 입력을 지원하는 유연하고 학습 가능한 풀링 연산자를 개발한다.
• 순열-민감 함수를 활용하여 강력한 순열-불변 신경망을 구성한다.
• 실현 가능한 전략(정규 순서, k-ary 의존성, 순열 샘플링)을 제시하고 Janossy pooling 프레임워크 내에서 기존 방법들을 통합한다.
• DeepSets와 de Finetti 교환가능성과 같은 기존 연구와의 연결을 분석하고 학습 역학을 연구한다.
• Janossy pooling이 관련 작업에서 최첨단 baselines보다 성능을 향상시킨다는 것을 실증적으로 보여준다.

제안 방법

• Janossy pooling을 모든 입력 순열에 대해 적용된 순열-민감 함수의 출력의 평균으로 정의한다.
• 정규 입력 순서, k-ary 의존성, 순열 샘플링(pi-SGD)으로 구성된 세 가지 실현 가능성 접근법을 도입한다.
• k-ary Janossy pooling이 합계를 순열의 부분집합으로 축소하여 계산을 줄임을 보인다.
• 깊이 있는 표현력과 계산 간의 트레이드-오프를 논의하기 위해 1-ary Janossy pooling과 DeepSets 간의 연결 분석을 제공한다.
• 순열-민감 모델을 훈련하기 위해 무작위 입력 순열을 샘플링하는 pi-SGD를 제안한다.
• 학습된 Janossy 모델에 대한 추론 영향 및 분산 감소 아이디어를 논의한다.

실험 결과

연구 질문

• RQ1 가변 크기 입력에 대해 순열-불변 함수를 어떻게 유연하게 학습할 수 있는가?
• RQ2 표현력을 유지하면서 계산을 줄일 수 있는 Janossy pooling의 tractable 근사 방법은 무엇인가?
• RQ3 정규 순서화, k-ary 의존성, 순열 샘플링이 실제로 순열-불변 모델 학습에 어떤 차이가 있는가?
• RQ4 Janossy pooling, DeepSets, 그리고 유한한 de Finetti 교환가능성 사이에 어떤 이론적 연결이 있는가?
• RQ5 pi-SGD가 순열 기반 학습을 사용할 때 수렴 및 추론 면에서 어떤 거동을 보이는가?

주요 결과

• Janossy pooling은 순열-민감한 구성요소로부터 순열-불변 네트워크를 구성하기 위한 통합 프레임워크를 제공한다.
• 정규 순서, k-ary 의존성, 순열 샘플링의 세 가지 실현 가능성 전략과 표현력과 비용 간의 트레이드-오프를 제시한다.
• k-ary Janossy pooling은 합계 대상의 감소된 순열 집합으로 계산 부담을 줄인다.
• pi-SGD는 무작위 입력 순열을 샘플링하여 Janossy 기반 모델을 학습하기 위한 원칙적인 확률적 최적화 방법을 제공한다.
• 이 접근법은 실험에서 최첨단 baselines보다 성능을 향상시킨다고 보고된다.
• Janossy pooling과 finite de Finetti 교환가능성 사이에 확률적 연결 고리가 확립된다.