[論文レビュー] Learning from Rational Behavior: Predicting Solutions to Unknown Linear Programs

Shahin Jabbari, Ryan Rogers+2 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Algebra and Logic被引用数 7

ひとこと要約

本稿では、目的関数および制約に関する部分的な情報に基づいて、未知の線形計画問題（LP）の解を予測するための新規フレームワークを提示する。これは、最適化問題への顕在的選好の一般化である。2つの設定における誤りバウンド学習アルゴリズムを提案する：（1）既知の目的関数と未知の制約、（2）未知で変化する目的関数と既知の制約。両設定において、誤差が有界な条件下で、証明可能な一般化性能を達成する。

ABSTRACT

We define and study the problem of predicting the solution to a linear program (LP) given only partial information about its objective and constraints. This generalizes the problem of learning to predict the purchasing behavior of a rational agent who has an unknown objective function, that has been studied under the name “Learning from Revealed Preferences. We give mistake bound learning algorithms in two settings: in the first, the objective of the LP is known to the learner but there is an arbitrary, fixed set of constraints which are unknown. Each example is defined by an additional known constraint and the goal of the learner is to predict the optimal solution of the LP given the union of the known and unknown constraints. This models the problem of predicting the behavior of a rational agent whose goals are known, but whose resources are unknown. In the second setting, the objective of the LP is unknown, and changing in a controlled way. The constraints of the LP may also change every day, but are known. An example is given by a set of constraints and partial information about the objective, and the task of the learner is again to predict the optimal solution of the partially known LP.

研究の動機と目的

• 目的関数および制約に関する部分的な情報しか入手できない状況において、線形計画問題の最適解をモデル化・予測すること。
• 消費者選択における顕在的選好フレームワークを、未知の制約や目的関数を含む最適化問題へ一般化すること。
• 部分的な情報のもとで最適解を予測する際、誤り数が有界となる学習アルゴリズムの開発。
• 目的関数が毎日変化するが制約は既知で固定されている動的設定を扱うこと。
• 既知の目的関数および未知の目的関数の両状況において、誤りバウンド学習を通じて予測精度に関する理論的保証を提供すること。

提案手法

• 最初の設定では、学習者は既知の制約の系列を観測し、それらと未知の固定された制約集合を組み合わせたLPの最適解を予測する必要がある。
• 学習者は、各制約が公開された後に真の最適解からのフィードバックに基づいて仮説を更新する誤りバウンドアルゴリズムを用いる。
• 2番目の設定では、目的関数は未知だが制御された方法で変化する。学習者は各例について部分的な目的関数情報と既知の制約を観測する。
• アルゴリズムは、可能な目的関数の仮説空間を維持し、双対性および最適性条件を用いて整合性のない候補を除外する。
• 双対性理論および最適性条件を活用して、候補解の妥当性を検証または否定し、誤差数が有界な範囲内で正しい予測に収束することを保証する。
• フレームワークは、一貫した実行可能解の集合を維持し、公開された最適解に基づいて反復的に精錬することで一般化を確保する。

実験結果

リサーチクエスチョン

• RQ1 目的関数および制約に関する部分的な情報しか入手できない状況で、線形計画問題の最適解を予測することは可能か？
• RQ2 制約や目的関数が未知である最適化設定において、合理的な行動をどのようにモデル化できるか？
• RQ3 部分的に指定されたLPの解を予測する際、誤り数が有界となる学習アルゴリズムは何か？
• RQ4 既知の制約の構造が、線形計画問題における未知の目的関数の学習可能性にどのように影響するか？
• RQ5 目的関数が変化する動的設定において、予測精度に関する理論的保証はどのようなものか？

主な発見

• 本稿では、制約や目的関数が部分的に未知であっても、有限で有界な誤り数で線形計画問題の最適解を予測する誤りバウンド学習アルゴリズムを確立した。
• 既知の目的関数と未知の制約を想定する設定では、誤りバウンドが制約空間の次元および構造に依存することを示した。
• 未知で変化する目的関数と既知の制約を想定する設定では、アルゴリズムが可能な目的関数の仮説空間を維持し、最適性フィードバックを用いて精錬することを実現した。
• フレームワークは顕在的選好を最適化問題へ一般化し、リソース制約下での意思決定における合理的行動の予測を可能にした。
• 理論的分析により、予測誤り数が入力サイズの多項式関数として有界であることが示され、強力な一般化保証が得られた。
• 目的関数の変化に対して本手法は頑健であり、最適解が各例後に公開されていれば、部分的情報下でも正しさを維持した。