[논문 리뷰] Order Matters: Sequence to sequence for sets

Oriol Vinyals, Samy Bengio외 1명|arXiv (Cornell University)|2015. 11. 19.

Natural Language Processing Techniques참고 문헌 18인용 수 184

한 줄 요약

이 논문은 입력과 출력에서 순서가 없는 집합을 다룰 수 있도록 확장된 시퀀스 투 시퀀스 프레임워크를 제안한다. 이는 원소의 순서가 모델 성능에 상당한 영향을 미친다는 것을 보여주며, 최적화 과정에서 가능한 순서 조합을 탐색하는 학습 방법을 제안한다. 이로 인해 입력이나 출력이 본질적으로 순서가 없는 경우에도 최적의 순서를 학습할 수 있으며, 정렬, 언어 모델링, 구문 분석 작업에서 최신 기술 성능을 달성하여 퍼플렉서티와 일반화 능력이 향상된다.

ABSTRACT

Sequences have become first class citizens in supervised learning thanks to the resurgence of recurrent neural networks. Many complex tasks that require mapping from or to a sequence of observations can now be formulated with the sequence-to-sequence (seq2seq) framework which employs the chain rule to efficiently represent the joint probability of sequences. In many cases, however, variable sized inputs and/or outputs might not be naturally expressed as sequences. For instance, it is not clear how to input a set of numbers into a model where the task is to sort them; similarly, we do not know how to organize outputs when they correspond to random variables and the task is to model their unknown joint probability. In this paper, we first show using various examples that the order in which we organize input and/or output data matters significantly when learning an underlying model. We then discuss an extension of the seq2seq framework that goes beyond sequences and handles input sets in a principled way. In addition, we propose a loss which, by searching over possible orders during training, deals with the lack of structure of output sets. We show empirical evidence of our claims regarding ordering, and on the modifications to the seq2seq framework on benchmark language modeling and parsing tasks, as well as two artificial tasks -- sorting numbers and estimating the joint probability of unknown graphical models.

연구 동기 및 목표

• 입력 또는 출력 원소의 순서가 집합처럼 본질적으로 순서가 없는 데이터일 경우 모델 성능에 미치는 영향을 조사하는 것.
• 입력 및 출력 집합을 효과적으로 다룰 수 있도록 시퀀스 투 시퀀스 프레임워크를 원칙적으로 확장하는 것.
• 최적의 순서 표현을 찾기 위해 최적화 과정에서 가능한 순서 조합을 탐색하는 학습 알고리즘을 제안하는 것.
• 인위적 작업(정렬, 공동 확률 추정)과 실제 작업(언어 모델링, 구문 분석)에서 프레임워크를 경험적으로 검증하여 기존의 순서 부여 방식에 비해 성능 향상을 입증하는 것.

제안 방법

• 표준 seq2seq 프레임워크를 확장하여 입력 집합이 순서 없이 처리될 수 있도록 '읽기-처리-쓰기' 아키텍처를 사용한다.
• 출력이 순서 없을 경우, 학습 중에 모든 가능한 출력 원소 순열을 탐색하는 미분 가능한 손실 함수를 제안하여 가능성을 극대화한다.
• 모든 n! 순열에 대한 탐색을 근사하기 위해 샘플링 기반 접근법을 사용하여 복잡도를 O(n!)에서 O(1)로 감소시키면서도 성능를 유지한다.
• 에코더-디코더 LSTM 아키텍처를 사용하며, 에코더는 입력 원소를 어떤 순서로든 읽고, 디코더는 인코딩된 상태에 조건부로 출력 시퀀스를 생성한다.
• 연쇄 법칙을 적용하여 출력 시퀀스의 공동 확률를 분해함으로써, 원래 데이터가 순서가 없더라도 자동회귀적 생성이 가능하게 한다.
• 순열 π에 대해 log P(Y_π | X)를 최대화하는 방식으로 순서 조합을 최적화하는 학습 목표를 도입하며, 기울기 업데이트를 통해 이를 강화한다.

실험 결과

연구 질문

• RQ1 순서가 없는 입력 또는 출력 데이터의 순서 선택이 시퀀스 투 시퀀스 모델의 성능에 상당한 영향을 미치는가?
• RQ2 자연스러운 순서가 존재하지 않을 경우 딥 러닝 모델이 집합 내 원소에 대해 더 나은 순서를 자동으로 발견할 수 있는가?
• RQ3 시퀀스 투 시퀀스 프레임워크를 원칙적으로 확장하여 순서가 없는 입력 및 출력 집합을 효과적으로 다룰 수 있는가?
• RQ4 모든 순열을 완전히 탐색하지 않고도 집합 원소의 순열에 대한 효과적인 최적화를 가능하게 하는 학습 전략은 무엇인가?
• RQ5 데이터가 자연스럽게 순차적이지 않은 경우, 제안된 방법이 언어 모델링 및 구문 분석과 같은 실제 작업에 일반화될 수 있는가?

주요 결과

• 입력 및 출력 원소의 순서는 모델 성능에 상당한 영향을 미치며, 최적화되지 않은 순서는 더 높은 퍼플렉서티와 열악한 일반화를 초래한다.
• 5-그램 언어 모델링에서, 순열에 대한 탐색을 통해 학습한 모델은 자연스러운 순서(1,2,3,4,5)를 성공적으로 복원하였으며, 검증 퍼플렉서티는 225를 기록했다.
• 120개의 순열(5!)을 모두 학습한 경우에도 모델은 여전히 최적의 순서인 (1,2,3,4,5) 또는 (5,4,3,2,1)로 수렴하여 퍼플렉서티 225를 유지하며, 임의의 입력 순서에 대해 강건함을 입증했다.
• 샘플링 기반 탐색 전략은 복잡도를 O(n!)에서 O(1)로 감소시켰으며, 정확한 탐색보다 수렴 속도와 안정성에서 뛰어난 성능을 보였다.
• 정렬 숫자 및 알려지지 않은 그래픽 모델의 공동 확률 추정과 같은 인위적 작업에서 높은 정확도를 달성하여, 비순차적 데이터에 대한 프레임워크의 효과성을 확인했다.
• 입력이나 출력이 본질적으로 순서가 없는 경우에도, 제안된 방법은 구문 분석 및 언어 모델링 작업에서 기존의 순차적 기반 모델보다 성능이 뛰어나다는 것을 입증했다.