[論文レビュー] Neuro-Symbolic Constraint Programming for Structured Prediction

Paolo Dragone, Stefano Teso+1 more|arXiv (Cornell University)|Mar 31, 2021

Natural Language Processing Techniques参考文献 48被引用数 9

ひとこと要約

Nesterは、複雑な論理的および数値的制約下での構造予測に、ニューラルネットワークと制約プログラミングを組み合わせた神経記号的フレームワークを提案する。ニューラルネットワークで初期の未制約予測を生成し、その後、ハード制約とソフト制約を満たすように制約ソルバでそれを精錬することで、表現学習と記号的推論を統合的に活用し、特にデータが少ない状況でも優れた性能を達成する。手書き式の認識タスクにおいて、両方のコンponentsを個別に使用するよりも優れている。

ABSTRACT

We propose Nester, a method for injecting neural networks into constrained structured predictors. The job of the neural network(s) is to compute an initial, raw prediction that is compatible with the input data but does not necessarily satisfy the constraints. The structured predictor then builds a structure using a constraint solver that assembles and corrects the raw predictions in accordance with hard and soft constraints. In doing so, Nester takes advantage of the features of its two components: the neural network learns complex representations from low-level data while the constraint programming component reasons about the high-level properties of the prediction task. The entire architecture can be trained in an end-to-end fashion. An empirical evaluation on handwritten equation recognition shows that Nester achieves better performance than both the neural network and the constrained structured predictor on their own, especially when training examples are scarce, while scaling to more complex problems than other neuro-programming approaches. Nester proves especially useful to reduce errors at the semantic level of the problem, which is particularly challenging for neural network architectures.Sub

研究の動機と目的

• 訓練データが乏しく、背景知識が豊富な構造予測タスクに対処すること。純粋なニューラルネットワークは推論能力に欠けるため、一般化に失敗する。
• ニューラルネットワークの特徴抽出能力と、制約プログラミングによる構造的出力への複雑な論理的および数値的制約の強制能力を統合すること。
• ニューラルネットワークの予測を制約充足によって修正する、エンドツーエンドで学習可能なシステムを構築すること。予測の意味的および構文的妥当性を保つこと。
• 既存の神経記号的モデルがハード制約を正しく強制できない、あるいは論理的または確率的推論に限定されているという限界を克服すること。
• 実世界のタスクである手書き式認識において、このハイブリッドアプローチの有効性を示すこと。ここでは意味的正しさが極めて重要である。

提案手法

• 二段階アーキテクチャ：入力（例：画像）を処理し、初期の未制約予測を生成するニューラルネットワーク（例：CNN や LSTM）を使用する。
• 中間予測が、MiniZincで実装された制約プログラミングモジュールに渡され、出力構造にハード制約とソフト制約を強制する。
• 制約プログラムは、有効な式の構文や数学的整合性といった、構文的および意味的制約を定義する。
• 全システムはバックプロパゲーションを用いてエンドツーエンドで学習され、勾配がニューラルネットワークおよび微分可能リラクゼーション技術を通じて制約ソルバへ伝搬される。
• 制約ソルバは、元の出力が制約を違反している場合でも、すべての制約を満たす最終予測を生成するためにニューラルネットワークの出力を修正する。
• このフレームワークはカテゴリカル変数および連続変数をサポートしており、構造的出力における複雑なハイブリッド制約のモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークと制約プログラミングを統合した神経記号的システムが、データが乏しい状況下での構造予測において、純粋なニューラルネットワークを上回る性能を発揮できるか？
• RQ2 制約プログラミングは、深層ニューラルネットワークが学習できない意味的誤りをどの程度修正できるか？
• RQ3 微分可能制約ソルバを備えたハイブリッド神経記号的システムのエンドツーエンド学習は、どの程度有効か？
• RQ4 このフレームワークは、構造的出力に含まれる論理的および数値的関係を含む複雑なハイブリッド制約を処理できるか？
• RQ5 記号的推論の統合により、データが少ない構造予測タスクにおける一般化性能が顕著に向上するか？

主な発見

• Nesterは、単独のニューラルネットワークや制約付き構造予測器よりも優れた性能を示し、特に訓練データが限られた状況で顕著である。
• ニューラルネットワーク単体では構文的パターンはうまく学習できるが、意味的正しさには欠ける。一方、Nesterは制約の強制により意味的誤りを効果的に是正する。
• 実験により、手書き式認識の文脈で、構文的にも意味的にも整合性のある予測が得られることを示した。
• Nesterは、離散的および連続的制約の混合を含む、他の神経記号的アプローチよりもより複雑な問題にもスケーリング可能である。
• エンドツーエンド学習スキームにより、効果的な最適化が可能となり、制約ソルバが全体のパイプラインにおける微分可能レイヤーとして機能する。
• 実験結果から、制約プログラミングモジュールが意味的誤りを顕著に低減しており、これはニューラルネットワーク単体では独立して捉えにくい領域である。