[論文レビュー] Deep Gamblers: Learning to Abstain with Portfolio Theory

Liu Ziyin, Zhikang Wang+4 more|arXiv (Cornell University)|Jun 29, 2019

Financial Markets and Investment Strategies参考文献 61被引用数 33

ひとこと要約

本論文は選択的分類をギャンブリング問題として再定式化し、ポートフォリオ理論を用いてエンドツーエンドで棄却を学習します。拒否機構を備えたSVHN、CIFAR-10、Cat-vs-Dogで競争力のある結果を達成します。

ABSTRACT

We deal with the extit{selective classification} problem (supervised-learning problem with a rejection option), where we want to achieve the best performance at a certain level of coverage of the data. We transform the original $m$-class classification problem to $(m+1)$-class where the $(m+1)$-th class represents the model abstaining from making a prediction due to disconfidence. Inspired by portfolio theory, we propose a loss function for the selective classification problem based on the doubling rate of gambling. Minimizing this loss function corresponds naturally to maximizing the return of a extit{horse race}, where a player aims to balance between betting on an outcome (making a prediction) when confident and reserving one's winnings (abstaining) when not confident. This loss function allows us to train neural networks and characterize the disconfidence of prediction in an end-to-end fashion. In comparison with previous methods, our method requires almost no modification to the model inference algorithm or model architecture. Experiments show that our method can identify uncertainty in data points, and achieves strong results on SVHN and CIFAR10 at various coverages of the data.

研究の動機と目的

• 精度とデータカバレッジのバランスをとるため、拒否オプションを備えた選択的分類に対処する。
• 棄却オプションを追加して m+1 クラス分類に変換する。
• 不確かさが高いと棄却を促すポートフォリオ理論のダブリングレートに基づく損失を導入する。
• 標準アーキテクチャと推論の最小限の変更でエンドツーエンドの訓練を可能にする。
• 分類とギャンブルを結びつける理論的洞察を提供し、棄却戦略の条件を定量化する。

提案手法

• 棄却（m+1）カテゴリを伴う馬競争として分類を再定式化する。
• 小ミニバッチに対して W(b,p) = sum_i p_i log2(b_i o_i + b_{m+1}) というダブリングレートに基づく損失を定義し、o をペイオフパラメータとする。
• （m+1）番目のクラスを棄却決定として解釈し、g(x) = f_w(x)_{m+1} の閾値 h によって被覆率を調整可能にする。
• 棄却制約の下で予測尤度を最大化することに対応するよう、ダブリングレートを最大化することが学習へ結びつくことを示してポートフォリオ理論を学習と結びつける。
• 賭けの定式化を正当化し、ペイオフパラメータ o が最適戦略に与える影響を示す定理1〜3 の理論結果を提供する。
• この手法を合成データと実データの実験で示し、エントロピー、Bayes dropout、SelectiveNetと比較する。

実験結果

リサーチクエスチョン

• RQ1 ポートフォリオ理論につながるギャンブルベースの損失を通じて棄却を学習できるか？
• RQ2 棄却のペイオフパラメータ o は、最適なベッティング（予測）戦略および棄却行動にどのように影響すべきか？
• RQ3 サンプリングやアーキテクチャの変更なしで、選択的分類のエンドツーエンド訓練は実現可能か？
• RQ4 提案手法はデータセットと被覆率レベル全体で、最先端の選択的分類手法と比較してどの程度性能を示すか？

主な発見

• 本手法は SVHN に対する被覆率ごとの性能で競争力があり、しばしば最先端レベルの性能を達成し、被覆率ごとの最高結果を含む。
• CIFAR-10 および Cat-vs-Dog データセットで特に 0.8–1.0 の被覆範囲で強い結果。
• 本手法は不確かさを効果的に識別し、難所サンプルや分布外サンプルの識別においてエントロピーベースのベースラインを上回る。
• この損失はエンドツーエンドで学習可能で、異なる被覆レベルのためのサンプリングや再訓練は不要で、アーキテクチャの変更も不要。
• t-SNE 分析は、深層ギャンブラー損失の下で学習された表現がより良いクラス分離を持つことを示唆し、学習された特徴空間が定性的に異なることを示している。