[논문 리뷰] Learning Choice Functions: Concepts and Architectures

Karlson Pfannschmidt, Pritha Gupta외 1명|arXiv (Cornell University)|2019. 01. 01.

Multi-Criteria Decision Making참고 문헌 47인용 수 6

한 줄 요약

이 논문은 대안 집합의 크기가 변할 수 있고 순서가 중요하지 않은 조건에서, 대칭적이고 집합에 무관한 방식으로 유용도 함수를 모델링하는 신경망 아키텍처를 사용하여 맥락에 따라 달라지는 선택 함수를 학습하는 새로운 프레임워크를 제안한다. 주어진 선택 집합 내에서 선호도 관계를 효과적으로 포착하는 데에 주목할 만한 성능을 보이는, 어텐션 메커니즘과 그래프 네트워크에 기반한 두 가지 신경망 아키텍처를 도입하여 기준 선택 함수 학습 과제에서 최신 기술 수준을 달성한다.

ABSTRACT

We study the problem of learning choice functions, which play an important role in various domains of application, most notably in the field of economics. Formally, a choice function is a mapping from sets to sets: Given a set of choice alternatives as input, a choice function identifies a subset of most preferred elements. Learning choice functions from suitable training data comes with a number of challenges. For example, the sets provided as input and the subsets produced as output can be of any size. Moreover, since the order in which alternatives are presented is irrelevant, a choice function should be symmetric. Perhaps most importantly, choice functions are naturally context-dependent, in the sense that the preference in favor of an alternative may depend on what other options are available. We formalize the problem of learning choice functions and present two general approaches based on two representations of context-dependent utility functions. Both approaches are instantiated by means of appropriate neural network architectures, and their performance is demonstrated on suitable benchmark tasks.

연구 동기 및 목표

• 변동하는 크기의 집합을 갖는 훈련 데이터로부터 선택 함수를 수학적으로 정의하는 것.
• 입력 순서가 출력에 영향을 주지 않는 선택 함수의 대칭성 문제를 다루는 것.
• 한 가지 대안의 매력도가 이용 가능한 옵션들에 따라 달라지는 맥락에 따라 달라지는 선호도를 모델링하는 것.
• 이러한 제약 조건을 자연스럽게 코딩하고 다양한 선택 집합에 일반화할 수 있는 신경망 아키텍처를 개발하는 것.
• 제안된 모델이 기준 과제에서 선호도 예측 성능 향상을 보여주는지 평가하는 것.

제안 방법

• 논문은 선택 함수를 대안 집합에서 선호되는 옵션의 부분집합으로의 사상으로 수식화하여, 집합 순열에 대해 대칭성을 보장한다.
• 두 가지 신경망 아키텍처를 도입한다: 하나는 대안들에 대한 맥락 인식 어텐션을 통해 유용도 함수를 모델링하는 데 기반한 것이다.
• 두 번째 아키텍처는 선택 집합 내 대안 간의 관계적 구조를 그래프 신경망을 통해 인코딩한다.
• 모든 모델은 레이블이 부여된 선택 데이터를 엔드 투 엔드로 훈련하며, 올바른 부분집합 예측을 장려하는 손실 함수를 사용한다.
• 모델은 아키텍처 설계에서 집합에 무관한 집약(예: 순열 불변 풀링)을 사용하여 대칭성을 강제한다.
• 유용도 함수는 맥락에 따라 달라지며, 이는 어떤 대안의 선호도가 가용한 전체 옵션 세트에 상대적으로 계산됨을 의미한다.

실험 결과

연구 질문

• RQ1 입력 집합의 크기가 다양하고 순서가 중요하지 않은 상황에서 선택 함수를 데이터로부터 효과적으로 학습할 수 있는가?
• RQ2 선택 집합의 순서에 대해 대칭성을 유지하면서 맥락에 따라 달라지는 선호도를 모델링할 수 있는 신경망 아키텍처는 무엇인가?
• RQ3 어떤 아키텍처가 표준 모델보다 선택 함수 학습에서 더 나은 성능을 보일 수 있는가?
• RQ4 다양한 아키텍처의 인덕티브 바이어스는 선택 함수 학습에서 일반화에 어떤 영향을 미치는가?
• RQ5 기준 선택 과제에서 맥락 의존성 모델링이 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 신경망 아키텍처는 기준 선택 함수 학습 과제에서 최신 기술 수준의 성능을 달성한다.
• 어텐션 기반 아키텍처는 전체 집합을 기반으로 대안에 대해 다이나믹하게 가중치를 설정함으로써 맥락에 따라 달라지는 선호도를 효과적으로 포착한다.
• 그래프 네트워크 기반 아키텍처는 대안 간의 쌍방향 상호작용을 모델링함으로써 강력한 일반화 성능을 보였다.
• 두 모델 모두 대칭성을 준수하여 입력 집합 순서에 관계없이 일관된 예측을 보인다.
• 모델은 예측된 집합 크기나 구성에 관계없이 잘 일반화되며, 분포 이탈에 대한 강건성을 보여준다.
• 제거 실험 결과는 대칭성과 맥락 의존성 강제가 예측 정확도 향상에 크게 기여한다는 것을 확인한다.