[論文レビュー] Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness

Simon Geisler, Johanna Sommer+3 more|arXiv (Cornell University)|Oct 21, 2021

Computational Drug Discovery Methods参考文献 10被引用数 4

ひとこと要約

本稿では、SAT や TSP などの NP 困難問題のためのニューラル組合せ最適化ソルバの一般化性能を評価・向上させるために、新たな敵対的ロバスト性フレームワークを提案する。外部ソルバを必要とせず、ラベルの正しさを保つような効率的で整合性のある摂動モデルを設計することで、最先端のニューラルソルバが小さなインスタンス摂動に対して極めて非ロバストであることが示され、敵対的訓練がロバスト性と一般化性能を顕著に向上させることを明らかにした。

ABSTRACT

End-to-end (geometric) deep learning has seen first successes in approximating the solution of combinatorial optimization problems. However, generating data in the realm of NP-hard/-complete tasks brings practical and theoretical challenges, resulting in evaluation protocols that are too optimistic. Specifically, most datasets only capture a simpler subproblem and likely suffer from spurious features. We investigate these effects by studying adversarial robustness -a local generalization property- to reveal hard, model-specific instances and spurious features. For this purpose, we derive perturbation models for SAT and TSP. Unlike in other applications, where perturbation models are designed around subjective notions of imperceptibility, our perturbation models are efficient and sound, allowing us to determine the true label of perturbed samples without a solver. Surprisingly, with such perturbations, a sufficiently expressive neural solver does not suffer from the limitations of the accuracy-robustness trade-off common in supervised learning. Although such robust solvers exist, we show empirically that the assessed neural solvers do not generalize well w.r.t. small perturbations of the problem instance.

研究の動機と目的

• 不完全または疎な訓練データ生成器によるニューラル組合せ最適化ソルバの過剰に楽観的な評価を是正すること。
• 敵対的ロバスト性を診断ツールとして用いて、組合せ最適化データセットにおける誤った特徴量やモデル固有の難易度の高いインスタンスを同定すること。
• 外部ソルバを必要とせず、正確なラベル予測が可能な、SAT および TSP のための整合的で効率的な摂動モデルを開発すること。
• 敵対的ロバスト性がニューラル組合せ最適化における一般化の信頼できる指標として機能するかどうかを調査すること。
• 敵対的訓練が NP 困難問題におけるニューラルソルバのロバスト性と一般化性能を向上させることを実証すること。

提案手法

• 外部ソルバを必要とせず、摂動されたインスタンスの真のラベルを直接計算できるように設計された、効率的で整合性のある摂動モデルを設計する。
• SAT に対しては、論理構造と充足可能性を保ったまま、節内のリテラルを反転させる摂動を実施する。
• TSP に対しては、既知の幾何的性質を用いて最適巡回路を正確に再評価可能なように、辺の重みやノード位置を変更する摂動を実施する。
• これらの摂動を用いて、訓練分布外でのモデルの一般化の欠陥を露呈する敵対的例を生成する。
• 敵対的訓練を適用し、敵対的インスタンス上でニューラルソルバを微調整することで、ロバスト性と一般化性能を向上させる。
• 決定的 TSP（DecisionTSP）および畳み込み TSP（ConvTSP）モデルの両方でフレームワークを検証し、元のインスタンスと摂動されたインスタンスの予測を比較する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバスト性は、ニューラル組合せ最適化ソルバにおける一般化の信頼できる代理指標として機能するか？
• RQ2 SAT や TSP の一般的なデータ生成器が、モデルが簡略化された部分問題に過剰適合するような誤った特徴量を導入していないか？
• RQ3 外部ソルバを必要とせず、正確なラベル予測が可能な、効率的で整合性のある SAT および TSP の摂動モデルを設計できるか？
• RQ4 現在のニューラルソルバは、問題インスタンスの小さな構造的摂動に対してどの程度脆弱であるか？
• RQ5 敵対的訓練は、SAT および TSP におけるニューラル組合せ最適化ソルバのロバスト性と一般化性能を向上させるか？

主な発見

• SAT や TSP のニューラルソルバは、問題インスタンスの小さな構造的摂動に対して極めて脆弱であり、一般化能力が低いことが示された。
• 提案された摂動モデルは効率的で整合性があり、外部ソルバに依存せずに摂動された SAT や TSP インスタンスの正確なラベル計算が可能である。
• 標準的なビジョンタスクとは異なり、精度とロバスト性のトレードオフは成立しない。高精度なモデルは同時に高いロバスト性を示すことも可能である。
• 敵対的訓練により、SAT および TSP ベンチマークにおけるニューラルソルバのロバスト性が顕著に向上し、未観測の摂動されたインスタンスにおける一般化性能も向上した。
• このフレームワークは、訓練データにおけるモデル固有の難易度の高いインスタンスや誤った特徴量を効果的に同定でき、一般的に使われるデータ生成パイプラインの欠陥を明らかにした。
• 実験結果から、標準的なデータ生成器で学習したモデルは、クリーンなデータでは高い精度を達成しても、敵対的摂動下では一般化に失敗することが示された。