[論文レビュー] Generalized Inverse Classification

Michael T. Lash, Qihang Lin+3 more|arXiv (Cornell University)|Oct 5, 2016

Machine Learning and Data Classification被引用数 20

ひとこと要約

本稿では、任意の微分可能または非微分可能な分類器に対して、行動可能なコスト制約付きの特徴量変更を同定する柔軟なフレームワークである一般化逆分類（GIC）を提案する。ヒューリスティックベースの最適化により、悪性結果の予測確率を低減する。遺伝的アルゴリズムと局所探索を用いた実験では、実患者に対してCVDリスクを55％から30％未満にまで低減し、感度ベースのベースラインを上回った。

ABSTRACT

Inverse classification is the process of perturbing an instance in a meaningful way such that it is more likely to conform to a specific class. Historical methods that address such a problem are often framed to leverage only a single classifier, or specific set of classifiers. These works are often accompanied by naive assumptions. In this work we propose generalized inverse classification (GIC), which avoids restricting the classification model that can be used. We incorporate this formulation into a refined framework in which GIC takes place. Under this framework, GIC operates on features that are immediately actionable. Each change incurs an individual cost, either linear or non-linear. Such changes are subjected to occur within a specified level of cumulative change (budget). Furthermore, our framework incorporates the estimation of features that change as a consequence of direct actions taken (indirectly changeable features). To solve such a problem, we propose three real-valued heuristic-based methods and two sensitivity analysis-based comparison methods, each of which is evaluated on two freely available real-world datasets. Our results demonstrate the validity and benefits of our formulation, framework, and methods.

研究の動機と目的

• 従来の逆分類手法が分類器の選択を制限するという限界に対処すること、特に高い精度や解釈可能性を要する実世界の応用において。
• 微分不可能なモデル（たとえばランダムフォレストなど）を含む任意の分類モデルをサポートする一般化されたフレームワークを開発すること、モデル固有の仮定を避けること。
• 個々の特徴量のコスト（線形および非線形）、累積的変更予算、直接的行動に起因する間接的特徴量変更といった現実的な制約を組み込むこと。
• 実世界のデータセットを用いたリスク低減効果および実用的妥当性の観点から、ヒューリスティックベースの手法と感度分析ベースのベースラインを比較評価すること。
• 学生の成績および心血管疾患リスク予測の2つの実世界データセットを通じて、臨床的および教育的文脈における本手法の実用性を示すこと。

提案手法

• フレームワークは、モデルの予測関数が利用可能で、微分可能または近似可能であるという制限のない仮定のみを要する。これにより、任意の分類モデルをサポートする。
• 特徴量の変更を個々のコスト（線形または非線形）でモデル化し、合計変更量に累積的予算制約を課す。
• 3つの実数値のヒューリスティックベースの手法を提案する：遺伝的アルゴリズム（GA）、勾配上昇（HC）、局所探索（LS）、およびそれらの組み合わせ（例：GA+LS）により性能を向上させる。
• 比較評価のため、2つの感度分析に基づくベースライン手法を実装する：固定強度による局所的変数摂動（LVP-FI）およびバイアス付き強度による局所的変数摂動（LVP-BI）。
• 直接的変更に起因する間接的に変更可能な特徴量の応答を推定することで、推薦の現実性を高める。
• 最適化は、コストおよび予算制約のもとで、特定のクラスの予測確率を最小化するように、特徴量空間における反復的探索によって実行される。

実験結果

リサーチクエスチョン

• RQ1 微分不可能なモデル（たとえばランダムフォレストなど）を含む任意の分類モデルで動作する一般化逆分類フレームワークを、制限的な仮定を伴わずに設計可能か？
• RQ2 現実的なコストおよび予算制約のもとで、ヒューリスティックベースの最適化手法と感度分析ベースの手法を比較した場合、リスク低減効果にどのような差が生じるか？
• RQ3 直接的および間接的特徴量変更をどれだけ活用できるかが、リスク低減のための行動可能でコスト効率の良い提案の実現にどの程度寄与するか？
• RQ4 線形コストモデルと比較して、非線形コスト関数の導入により、逆分類の推薦の現実性および実用性が向上するか？
• RQ5 どのような条件下で、ヒューリスティックベースの手法が逆分類タスクにおいて感度ベースの手法を上回るか？

主な発見

• 提案されたGICフレームワークは、予算レベル2でGA+LSヒューリスティック手法を用いて、患者29番の心血管疾患（CVD）リスクを55％から30％未満まで低減した。
• CVDデータセット全体で平均すると、予算レベル2でヒューリスティックベースの手法を用いることで、リスクが約50％から30～35％に低減された。
• CVDデータセットにおいて、GA+LS手法が他のすべての手法を上回り、最も顕著なリスク低減を達成した。一方、LVP-FIも強く性能を示し、状況に応じて感度手法が優位である可能性を示唆した。
• 学生の成績データセットでは、3つのヒューリスティック手法を統合的に用いることで、予算3でリスクを約70％から約62％に低減し、個々の最良手法では予算5で50％まで低下させた。
• 非線形コスト関数および間接的特徴量変更の統合に成功し、より現実的で行動可能な推薦を可能にした。
• 結果から、ヒューリスティックベースの手法は一般的に感度分析ベースの手法を上回ることが示されたが、LVP-FIはCVDデータセットで強く性能を示し、ハイブリッドまたは文脈に応じた手法選択の可能性を示唆した。