[論文レビュー] Enabling Incrementality in the Implicit Hitting Set Approach to MaxSAT Under Changing Weights

Yu, Jinqiang, Ignatiev, Alexey+2 more|arXiv (Cornell University)|Oct 19, 2020

Data Mining Algorithms and Applications参考文献 24被引用数 4

ひとこと要約

本稿では、訓練データを完全に分類する最小サイズのモデルである最適な完全な意思決定リストを構築する最初のSATベースの手法を提示する。新規の段階的MaxSATアプローチを用い、先行研究よりも高いテスト精度を達成しながらも、モデルおよび説明のサイズをコンパクトに保つ、最適なスパース意思決定リストを構築する新しい手法も導入する。

ABSTRACT

Decision lists are one of the most easily explainable machine learning models. Given the renewed emphasis on explainable machine learning decisions, this machine learning model is increasingly attractive, combining small size and clear explainability. In this paper, we show for the first time how to construct optimal "perfect" decision lists which are perfectly accurate on the training data, and minimal in size, making use of modern SAT solving technology. We also give a new method for determining optimal sparse decision lists, which trade off size and accuracy. We contrast the size and test accuracy of optimal decisions lists versus optimal decision sets, as well as other state-of-the-art methods for determining optimal decision lists. We also examine the size of average explanations generated by decision sets and decision lists.

研究の動機と目的

• 訓練データを完全に分類する最適な完全意思決定リストを構築する最初の手法を開発すること。
• モデルサイズとテスト精度のバランスを取る、最適なスパース意思決定リストの新しいアプローチを設計すること。
• モデルサイズと平均説明長の観点から、意思決定リストと意思決定集合の比較を行うこと。
• 説明可能AIにおける、モデルサイズ、精度、説明の簡潔さのトレードオフを評価すること。

提案手法

• 意思決定リストの構築を最適化問題として定式化するため、SATベースのMaxSAT定式化を用いる。
• 変化する重みに対して効率的に意思決定リスト構造を探索・改善できる段階的MaxSATソルバを採用する。
• 事前にルールを抽出するのを避けるために、意思決定リスト内の位置を考慮した直接的なエンコードを新規に導入する。
• 最適性を保証するため、分岐・限定法に加え、対称性の削減および境界付け技術を活用する。
• ルール数およびリテラル数の両方をペナルティとして課す細粒度のサイズ測定法を適用し、コンパクトで正確なモデルを優遇する。
• スケーラビリティと解の品質を向上させるために、クラス順序付けヒューリスティクス（例：i↑）を用いる。

実験結果

リサーチクエスチョン

• RQ1 SAT技術を用いて、最適な完全意思決定リストを効率的に構築できるか？
• RQ2 最適な意思決定リストのモデルサイズと説明長は、最適な意思決定集合と比べてどうなるか？
• RQ3 スパース意思決定リスト最適化における細粒度のサイズ測定法は、既存手法よりも高いテスト精度を達成するか？
• RQ4 最適な意思決定リストと意思決定集合の間で、モデルサイズ、説明長、テスト精度のトレードオフはどのように変化するか？
• RQ5 段階的MaxSAT技術は、意思決定リスト最適化における動的重み変更に効果的に適用できるか？

主な発見

• 最適な完全意思決定リストを構築する本手法は、最適な意思決定集合と比較して、平均で1モデルあたり11.1リテラルと顕著に小さいモデルサイズを実現する（意思決定集合は23.3リテラル）。
• 完全モデルにおいては、意思決定集合が説明長の面で明確な優位性を示す（1説明あたり3.3対9.3リテラル）が、モデルサイズの観点では意思決定リストがはるかにコンパクトである。
• スパースモデルでは、本手法（sdl[λ2]i↑）が69.9％のテスト精度を達成し、コアルズ[λ2]の40.2％を大きく上回る。
• 本手法で生成されたスパース意思決定リストの平均説明サイズは2.1リテラルであり、スパース意思決定集合（3.4リテラル）よりも小さく、コアルズ[λ2]（2.3リテラル）と同等の水準である。
• スパース意思決定リストの平均モデルサイズは2.4リテラルにとどまる一方、スパース意思決定集合は6.9リテラルであるため、本手法は著しく優れたコンパクト性を示す。
• 段階的MaxSATアプローチにより、重みの変更に対しても効率的な最適化が可能となり、意思決定リストの動的再最適化を支援する。