[論文レビュー] Predict and Constrain: Modeling Cardinality in Deep Structured Prediction

Nataly Brukhim, Amir Globerson|arXiv (Cornell University)|Feb 13, 2018

Stochastic Gradient Optimization Techniques参考文献 20被引用数 6

ひとこと要約

この論文は、ラベルの有効数（アクティブなラベル数）を制限する「基数制約」を考慮した、構造予測のための新規でエンド・ツー・エンド微分可能なディープラーニングフレームワークを提案する。本手法は「予測して制約する」アプローチを採用し、まずニューラルネットワークで入力ごとの望ましいラベル基数（アクティブなラベル数）を予測し、次に微分可能な射影勾配降下法を用いてその制約を強制する。このアプローチにより、高次のラベル依存関係を効果的に捉えることができ、マルチラベル分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Many machine learning problems require the prediction of multi-dimensional labels. Such structured prediction models can benefit from modeling dependencies between labels. Recently, several deep learning approaches to structured prediction have been proposed. Here we focus on capturing cardinality constraints in such models. Namely, constraining the number of non-zero labels that the model outputs. Such constraints have proven very useful in previous structured prediction approaches, but it is a challenge to introduce them into a deep learning framework. Here we show how to do this via a novel deep architecture. Our approach outperforms strong baselines, achieving state-of-the-art results on multi-label classification benchmarks.

研究の動機と目的

• 構造予測モデルに組み込み可能な組み合わせ的基数制約（アクティブなラベル数の制限）を統合する課題に対処すること。
• バックプロパゲーションの流れを断たない微分可能でエンド・ツー・エンド微分可能なアーキテクチャを構築すること。
• 2次以上のラベル依存関係をモデル化することで、ペアワイズ相互作用を超えるグローバルラベル依存関係を捉え、マルチラベル分類の予測精度を向上させること。
• 基数制約をディープニューラルネットワークベースの構造予測フレームワークに統合した場合、性能向上が顕著に現れることを示すこと。

提案手法

• 推論を2段階に分離する：まず、ニューラルネットワークが与えられた入力に対して望ましい基数（アクティブなラベル数）を予測する。
• 次に、ラベル空間において微分可能な射影勾配降下法を実行し、予測された基数制約を強制する。効率性を確保するため、ソーティングに基づく射影を用いる。
• 射影ステップでは、Dykstraのアルゴリズムまたは同等の手法を用いて、線形制約（例：ラベルの和が目標値に等しい）を射影により強制し、妥当性を保ちつつ微分可能性を維持する。
• ユニタリ、グローバル、基数ポテンシャルを統合したスコア関数を構築し、一括最適化を可能にする。
• 1ホット制約（行方向）と基数制約（列方向）の交差部分への射影を拡張することで、二値ラベルおよびマルチクラスラベル設定を両方サポートする。
• パイプライン全体が微分可能であり、F1やrecall@Kなどの任意の微分可能な損失関数を直接バックプロパゲーションで最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 組み合わせ的基数制約を、エンド・ツー・エンド微分可能な形で深層構造予測モデルに効果的に統合できるか？
• RQ2 ラベル割り当ての前にアクティブラベルの基数を予測することで、構造予測の性能が向上するか？
• RQ3 「予測して制約する」フレームワークは、基数をモデル化しない、もしくはより限定的な最適化手法を用いる強力なベースラインを上回るか？
• RQ4 基数ポテンシャルの導入は、他のグローバルポテンシャル形式と比較して、複雑なラベル依存関係をどれほど効果的に捉えられるか？
• RQ5 本手法は、マルチクラス分類やセマンティックセグメンテーションなどの非二値ラベル設定にも一般化可能か？

主な発見

• 提案手法の「予測して制約する」アプローチは、標準的なマルチラベル分類ベンチマークで最先端の性能を達成し、最近の深層構造予測手法を上回る。
• 基数制約を用いることで、高次のラベル依存関係をモデル化でき、F1スコアとrecall@Kスコアが顕著に向上する。
• 適切に統合された基数制約そのものだけで、このような制約を備えないモデルに比べて顕著な性能向上が得られる。
• Dykstraのアルゴリズムを用いて1ホット制約と基数制約の交差部分への射影を実行することで、マルチクラス設定への一般化が良好に実現される。
• アブレーションスタディの結果、基数予測と制約適用の2段階戦略は、連合最適化や分離推論よりも効果的であり、特に基数がラベル構造を予測するのに有用な場合に顕著である。
• 本手法は微分可能性を全段階で維持しており、任意の微分可能な損失関数を直接エンド・ツー・エンド学習で最適化可能である。