[논문 리뷰] Learning Functions over Sets via Permutation Adversarial Networks

Chirag Pabbaraju, Prateek Jain|arXiv (Cornell University)|2019. 07. 12.

Advanced Graph Neural Networks참고 문헌 33인용 수 5

한 줄 요약

이 논문은 세트에 대한 순열 불변 함수를 학습하기 위한 새로운 방법인 SPAN(Set Permutation Adversarial Network)을 제안한다. 이는 학습자(LSTM)와 악성 순열 네트워크(APN) 사이의 최소-최대 최적화 문제로 문제를 정식화한 것으로, APN은 악성 순열을 생성한다. SPAN은 DeepSets 및 Janossy Pooling과 같은 최신 기법들보다 뛰어나게 성능을 발휘하여, k-가장 먼 점 선택과 같은 어려운 세트 함수에서 최대 55% 높은 정확도를 달성했고, 고유벡터 복구 작업에서는 6% 높은 코사인 유사도를 기록했다.

ABSTRACT

In this paper, we consider the problem of learning functions over sets, i.e., functions that are invariant to permutations of input set items. Recent approaches of pooling individual element embeddings can necessitate extremely large embedding sizes for challenging functions. We address this challenge by allowing standard neural networks like LSTMs to succinctly capture the function over the set. However, to ensure invariance with respect to permutations of set elements, we propose a novel architecture called SPAN that simultaneously learns the function as well as adversarial or worst-case permutations for each input set. The learning problem reduces to a min-max optimization problem that is solved via a simple alternating block coordinate descent technique. We conduct extensive experiments on a variety of set-learning tasks and demonstrate that SPAN learns nearly permutation-invariant functions while still ensuring accuracy on test data. On a variety of tasks sampled from the domains of statistics, graph functions and linear algebra, we show that our method can significantly outperform state-of-the-art methods such as DeepSets and Janossy Pooling. Finally, we present a case study of how learning set-functions can help extract powerful features for recommendation systems, and show that such a method can be as much as 2% more accurate than carefully hand-tuned features on a real-world recommendation system.

연구 동기 및 목표

• 기존의 세트 함수 학습 방법들이 큰 임bedding 크기를 요구하거나 순열 변화에 일반화되지 못하는 한계를 해결하기 위해.
• 기능 형태에 제약을 두지 않고 순열 불변성을 보장하는 방법을 개발하여, 복잡한 세트 함수의 정확한 학습을 가능하게 하기 위해.
• 세트 학습에서 랜덤 순열 기반 데이터 증강의 높은 계산 비용과 변동성을 극복하기 위해.
• 실제 추천 시스템과 같은 실세계 응용 분야에서 세트 함수 학습의 실용적 유용성을 입증하기 위해.

제안 방법

• 세트 함수 학습을 최소-최대 최적화 문제로 정식화: 학습자는 악성 순열 네트워크(APN)가 생성한 악성 순열에 대해 손실를 최소화한다.
• 순열 불변 방식으로 세트 요소를 반복적으로 요약하는 데 반복 신경망(LSTM)을 학습자로 사용한다.
• 각 입력 세트에 대해 어려운 악성 순열을 생성하기 위해 Sinkhorn 기반의 미분 가능한 순열 샘플링을 사용하여 APN을 훈련시킨다.
• 학습자와 APN을 함께 최적화하기 위한 교차 블록 좌표 강하 방식을 적용한다.
• LSTM의 은닉 상태를 사용해 세트 요소를 거쳐가는 동안 누적 요약(예: 최대값, 고유벡터 추정치)을 유지하고 업데이트한다.
• 훈련 데이터에 포함된 순열 뿐 아니라 어떤 순열에 대해서도 안정성을 확보하기 위해 모델을 순열 불변성에 강건하도록 훈련시킨다.

실험 결과

연구 질문

• RQ1 최소-최대 악성 프레임워크가 기능 형태에 제약을 두지 않고 세트 함수 학습에서 순열 불변성을 효과적으로 강제할 수 있는가?
• RQ2 랜덤 또는 고정 순열 전략에 비해 악성 순열 생성 방식은 일반화 및 강건성 측면에서 어떻게 비교되는가?
• RQ3 SPAN은 최대 유량 및 k-가장 먼 점 선택과 같은 어려운 세트 함수에서 DeepSets 및 Janossy Pooling과 같은 기존 최신 기법들을 능가할 수 있는가?
• RQ4 수작업 특징에 비해 SPAN은 추천 시스템과 같은 실세계 응용 분야로 얼마나 잘 일반화되는가?

주요 결과

• k=3일 때 k-가장 먼 점 작업에서 SPAN은 DeepSets보다 최대 55% 높은 정확도를 기록하여 복잡한 세트 함수에서 뛰어난 성능을 입증했다.
• d=30일 때 고유벡터 복구 작업에서 SPAN은 DeepSets보다 6% 높은 코사인 유사도를 달성하여 고차원 입력에서의 더 나은 일반화 능력을 보였다.
• 동일한 테스트 세트에 대해 20개의 랜덤 순열을 적용했을 때 SPAN은 예측값이 거의 동일했으며, 표준편차 대 평균 비율이 ≤1e-5 이하로 유지되어 강력한 순열 불변성을 확인했다.
• 제거 실험 결과, APN 구성 요소가 없는 SPAN은 세트의 마지막 요소에 편향되어 최대 숫자를 정확히 예측하는 데 실패했으며, 테스트 케이스의 10%에서만 정답을 맞췄다.
• n=200일 때 최대 3-원거리 거리 작업에서 SPAN의 LSTM 기반 학습자는 완전 연결 네트워크보다 평균 상대 오차를 40% 감소시켜 더 뛰어난 성능을 보였다.
• 실세계 추천 시스템 사례 연구에서 SPAN 기반 특징은 수작업 특징에 비해 정확도를 최대 2% 향상시켰다.