[논문 리뷰] Neural Learning of One-of-Many Solutions for Combinatorial Problems in Structured Output Spaces

Yatin Nandwani, Deepanshu Jindal외 2명|arXiv (Cornell University)|2020. 08. 27.

Image Retrieval and Classification Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 구조적 출력 공간에서 조합 최적화 문제를 해결하기 위해 해의 다중성을 명시적으로 모델링하는 새로운 프레임워크인 One-of-Many 학습(1oML)을 소개한다. 강화학습 기반의 선택 모듈(SelectR)을 제안하여 훈련 중에 다수의 유효 출력 중 가장 정보량이 많은 해를 동적으로 선택함으로써 일반화 성능을 크게 향상시키고, 수수께끼, N-퀸, 후토시키 문제에서 기준 모델 대비 최대 21점의 정확도 향상을 달성한다.

ABSTRACT

Recent research has proposed neural architectures for solving combinatorial problems in structured output spaces. In many such problems, there may exist multiple solutions for a given input, e.g. a partially filled Sudoku puzzle may have many completions satisfying all constraints. Further, we are often interested in finding any one of the possible solutions, without any preference between them. Existing approaches completely ignore this solution multiplicity. In this paper, we argue that being oblivious to the presence of multiple solutions can severely hamper their training ability. Our contribution is two fold. First, we formally define the task of learning one-of-many solutions for combinatorial problems in structured output spaces, which is applicable for solving several problems of interest such as N-Queens, and Sudoku. Second, we present a generic learning framework that adapts an existing prediction network for a combinatorial problem to handle solution multiplicity. Our framework uses a selection module, whose goal is to dynamically determine, for every input, the solution that is most effective for training the network parameters in any given learning iteration. We propose an RL based approach to jointly train the selection module with the prediction network. Experiments on three different domains, and using two different prediction networks, demonstrate that our framework significantly improves the accuracy in our setting, obtaining up to 21 pt gain over the baselines.

연구 동기 및 목표

• 수수께끼와 N-퀸과 같은 조합 최적화 문제에서 해의 다중성을 무시하는 기존 신경망 모델의 핵심적 격차를 보완하기 위해.
• 모델이 가능한 해 집합 중에서 임의의 유효한 해를 예측해야 하는 One-of-Many 학습(1oML) 작업을 정식화하기 위해.
• 각 훈련 반복에서 역전파에 사용할 가장 정보량이 많은 해를 동적으로 선택하여 훈련 효율성과 일반화 성능을 향상시키기 위해.
• 모든 비자기적 예측 네트워크와 호환 가능한 일반적이고 종단 간(end-to-end) 훈련 가능한 프레임워크를 개발하기 위해.
• 해의 다중성은 종종 잡음으로 간주되지만, 이를 신호로 활용함으로써 모델의 강건성과 정확도를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 구조적 출력을 위한 비자기적 모델에서의 한계를 밝혀내고, 다중성 인식 손실(CC-Loss)을 제안하며, 그 한계를 규명한다.
• 현재 예측에 가장 가까운 진짜 해를 선택하여 역전파에 사용하는 탐욕 기반 기준 모델인 MinLoss를 도입한다.
• 예측 네트워크를 활용해 가장 가까운 이웃을 초월하는 다양한 해를 샘플링하는 정보 기반 탐색 전략인 I-ExplR을 개발한다.
• 장기적 훈련 진전을 극대화하는 해를 선택하는 정책을 학습하는 강화학습 기반 선택 모듈인 SelectR을 제안한다.
• 예측 네트워크와 선택 모듈을 함께 강화학습으로 훈련시켜, 국소적으로는 최적해가 아니지만 전반적으로는 유익한 해를 탐색할 수 있도록 한다.
• 정책 기반 강화학습을 활용해 선택 모듈를 최적화하며, 해 공간 내에서 탐색과 이용의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 해의 다중성을 명시적으로 모델링하면 조합 최적화 문제에 대한 신경망 모델의 일반화 성능과 정확도가 향상되는가?
• RQ2 해의 다중성은 비자기적 신경망 해법의 훈련 동역학과 성능에 어떤 영향을 미치는가?
• RQ3 학습된 선택 메커니즘이 다중 해 설정에서 탐욕적 또는 무작위 선택보다 성능이 뛰어나게 되는가?
• RQ4 강화학습 기반 선택 정책은 히وري스틱 또는 예측 기반 탐색 전략보다 더 나은 일반화 성능을 보이는가?
• RQ5 모든 가능한 해의 부분 집합만으로 훈련된 모델도, 큰 해 집합을 가진 입력에 대해서도 충분히 일반화할 수 있는가?

주요 결과

• SelectR는 수수께끼, 후토시키, N-퀸 문제에서 기초 기준 모델 대비 최대 21점의 정확도 향상을 기록했으며, 다중 해 쿼리에서는 13~52점의 향상을 기록했다.
• 강화학습 기반의 SelectR는 MinLoss를 통계적으로 유의미하게 뛰어넘으며, p-값은 N-퀸 문제에서 1.00e-16, 후토시키에서 0.03, 수수께errick에서 1.69e-18을 기록하여 유의미한 성능 향상을 입증했다.
• I-ExplR은 세 가지 작업 중 두 곳에서 MinLoss를 초월했지만, 모든 도메인에서 SelectR에 뒤지며 강화학습 기반 탐색의 우수성을 입증했다.
• 실제 해 집합보다 훨씬 큰 해 집합이 존재함에도 불구하고, 입력당 최대 5개의 해만으로 훈련된 경우에도 SelectR는 뚜렷한 성능 향상을 기록했으며, 불완전한 해 집합에 대한 강건성을 보였다.
• 해 집합 크기가 증가할수록 성능은 저하되지만, SelectR는 모든 도메인에서 가장 강건한 모델로 남아 있었다.
• 이 프레임워크는 다양한 예측 네트워크와 조합 최적화 문제(수수께끼, N-퀸, 후토시키 포함)에 대해 일반적이고 효과적인 성능을 보였다.