[論文レビュー] Neural Learning of One-of-Many Solutions for Combinatorial Problems in Structured Output Spaces

Yatin Nandwani, Deepanshu Jindal+2 more|arXiv (Cornell University)|Aug 27, 2020

Image Retrieval and Classification Techniques参考文献 29被引用数 4

ひとこと要約

本稿では、解の多様性を明示的にモデル化することで、構造的出力空間における組合せ問題を解くためのニューラルネットワークを訓練する新しいフレームワーク、One-of-Many Learning (1oML) を提案する。強化学習に基づく選択モジュール（SelectR）を導入し、学習中に複数の有効な出力から最も情報量の多い解を動的に選択することで、汎化性能を著しく向上させ、Sudoku、N-Queens、Futoshikiのタスクにおいてベースラインより最大21ポイントの精度向上を達成した。

ABSTRACT

Recent research has proposed neural architectures for solving combinatorial problems in structured output spaces. In many such problems, there may exist multiple solutions for a given input, e.g. a partially filled Sudoku puzzle may have many completions satisfying all constraints. Further, we are often interested in finding any one of the possible solutions, without any preference between them. Existing approaches completely ignore this solution multiplicity. In this paper, we argue that being oblivious to the presence of multiple solutions can severely hamper their training ability. Our contribution is two fold. First, we formally define the task of learning one-of-many solutions for combinatorial problems in structured output spaces, which is applicable for solving several problems of interest such as N-Queens, and Sudoku. Second, we present a generic learning framework that adapts an existing prediction network for a combinatorial problem to handle solution multiplicity. Our framework uses a selection module, whose goal is to dynamically determine, for every input, the solution that is most effective for training the network parameters in any given learning iteration. We propose an RL based approach to jointly train the selection module with the prediction network. Experiments on three different domains, and using two different prediction networks, demonstrate that our framework significantly improves the accuracy in our setting, obtaining up to 21 pt gain over the baselines.

研究の動機と目的

• Sudoku や N-Queens などの組合せ問題において、解の多様性を無視する既存のニューラルモデルが示す顕著なギャップを解消すること。
• モデルが可能な解の集合から任意の有効な解を予測する「One-of-Many Learning (1oML)」というタスクを形式化すること。
• 各学習イテレーションにおいて、バックプロパゲーションに使用する最も情報量の多い解を動的に選択することで、学習効率と汎化性能を向上させること。
• 非自己回帰的予測ネットワークと互換性があり、任意の構造的出力予測に適用可能な汎用的でエンドツーエンドで学習可能なフレームワークを構築すること。
• 解の多様性がしばしばノイズと見なされるが、これをシグナルとして活用することでモデルのロバスト性と精度を向上させられることを示すこと。

提案手法

• 構造的出力に対する非自己回帰モデルにおける制限を特定し、新たな多様性対応損失（CC-Loss）を提案する。
• 現在の予測に最も近い正解解を選択して損失のバックプロパゲーションに使用する、グリーディベースのベースライン（MinLoss）を導入する。
• 予測ネットワークを用いて最近隣の解を超える多様な解をサンプリングする、インフォームドな探索戦略（I-ExplR）を開発する。
• 長期的な学習進捗を最大化するように学習する方策をとる強化学習ベースの選択モジュール（SelectR）を提案する。
• 強化学習を用いて予測ネットワークと選択モジュールを同時に学習させ、最適でないがグローバルに有益な解の探索を可能にする。
• 方策勾配法を用いて選択モジュールを最適化し、解空間内での探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 解の多様性を明示的にモデル化することで、組合せ問題に対するニューラルモデルの汎化性能と精度を向上させられるか？
• RQ2 解の多様性は、非自己回帰的ニューラルソルバーの学習ダイナミクスと性能にどのように影響を与えるか？
• RQ3 学習ターゲットの選択を学習可能にするメカニズムは、マルチソリューション設定においてグリーディまたはランダム選択を上回る性能を示せるか？
• RQ4 強化学習ベースの選択方針は、ヒューリスティック的または予測に基づく探索戦略に比べて、より優れた汎化性能を達成できるか？
• RQ5 すべての可能な解のサブセットで学習したモデルでさえ、解集合が非常に大きい入力に対しても十分に汎化できるか？

主な発見

• SelectR は、Sudoku、Futoshiki、N-Queens において、ナーブなベースラインより最大21ポイントの精度向上を達成し、マルチソリューションクエリでは13〜52ポイントの向上を示した。
• p値が 1.00e-16（N-Queens）、0.03（Futoshiki）、1.69e-18（Sudoku）であるため、SelectR は MinLoss を統計的に有意に上回った。
• I-ExplR は3つのタスクのうち2つで MinLoss を上回ったが、すべてのドメインで SelectR に劣り、強化学習ベースの探索の優位性を示した。
• 真の解集合が大きくても、1入力あたり最大5つの解のみで学習させた場合でも、SelectR は顕著な向上を示し、不完全な解集合に対してもロバストであることを示した。
• 解集合のサイズが増加するにつれてモデル性能は低下するが、SelectR はすべてのドメインで最もロバストなモデルであった。
• 本フレームワークは、Sudoku、N-Queens、Futoshiki など異なる予測ネットワークと組合せ問題にわたり、汎用的かつ有効であることが示された。