[論文レビュー] Minimizing Impurity Partition Under Constraints

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Dec 31, 2019

Error Correcting Code Techniques参考文献 13被引用数 9

ひとこと要約

本稿では、任意の凹関数制約下での集合分割における不純度最小化のための新規アルゴリズムを提案する。新規の最適性条件を活用し、事後確率空間における超平面カットに相当するグローバル最適な分割が得られることを示した。本手法により、周波数重み付き凹関数による不純度関数に対して、多項式時間でグローバル最適解を計算可能となり、決定的情報ボトルネックを一般化し、従来の近似手法を上回る性能を発揮する。

ABSTRACT

Set partitioning is a key component of many algorithms in machine learning, signal processing, and communications. In general, the problem of finding a partition that minimizes a given impurity (loss function) is NP-hard. As such, there exists a wealth of literature on approximate algorithms and theoretical analyses of the partitioning problem under different settings. In this paper, we formulate and solve a variant of the partition problem called the minimum impurity partition under constraint (MIPUC). MIPUC finds an optimal partition that minimizes a given loss function under a given concave constraint. MIPUC generalizes the recently proposed deterministic information bottleneck problem which finds an optimal partition that maximizes the mutual information between the input and partition output while minimizing the partition output entropy. Our proposed algorithm is developed based on a novel optimality condition, which allows us to find a locally optimal solution efficiently. Moreover, we show that the optimal partition produces a hard partition that is equivalent to the cuts by hyperplanes in the probability space of the posterior probability that finally yields a polynomial time complexity algorithm to find the globally optimal partition. Both theoretical and numerical results are provided to validate the proposed algorithm.

研究の動機と目的

• NP困難な制約下での最適集合分割問題に取り組むこと、特に機械学習および信号処理の応用分野を想定する。
• 出力分布に対する任意の凹関数制約を組み込むことで、決定的情報ボトルネックを一般化すること。
• ヒューリスティックな近似に依存せず、グローバル最適な分割を保証的に効率的に見つけるアルゴリズムの開発。
• 最適な分割と事後確率空間における超平面分離との間の理論的基盤を確立すること。

提案手法

• 最小不純度分割問題（MIPUC）を、出力分布に対する凹関数制約を課した周波数重み付き凹関数不純度の最小化問題として定式化する。
• ラグランジュ双対性と部分勾配解析を用いて、局所最適解を特徴付ける新規の最適性条件を導出する。
• 最適な分割が、入力の出力に関する事後確率空間において超平面によって分離された領域に相当するハード分割に等価であることを証明する。
• 事後確率空間における超平面のしきい値を有効に探索するアルゴリズムを開発し、多項式時間の計算複雑性を達成する。
• 双対変数（例：β）の離散化された範囲を全検索することで、あらゆる可能な制約レベルにおいてグローバル最適解を同定する。
• 解空間の幾何的構造を活用し、N=2の場合に限り、スカラーしきい値の1次元スキャンに帰着させることで、正確なグローバル最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 任意の凹関数制約下で、ヒューリスティックな近似に頼らずに、不純度最小化問題のグローバル最適解を特定できるか？
• RQ2 周波数重み付き凹関数による不純度関数の最適分割は、事後確率空間における超平面カットに相当するか？
• RQ3 このような制約下で、グローバル最適な分割を求める多項式時間のアルゴリズムを実現できるか？
• RQ4 提案手法は、制約と損失関数の観点から、決定的情報ボトルネックフレームワークをどのように一般化するか？
• RQ5 双対変数βと、制約付き量子化における相互情報量と出力エントロピーのトレードオフの関係は何か？

主な発見

• 凹関数制約下でのグローバル最適な分割は、事後確率空間における超平面カットによって定義されるハード分割に相当し、正確な計算が可能である。
• N=2の場合、しきい値の離散化された範囲における1次元探索により最適解が得られ、多項式時間の計算複雑性を達成する。
• 制約H(Z) ≤ 0.5の下で、相互情報量の最大値I(X;Z)* = 0.18623を達成し、β* = 6におけるH(Z) = 0.48873を示した。
• 本手法は、エントロピーに限定されない任意の凹関数制約を許容することで、決定的情報ボトルネックを一般化する。
• 理論的分析により、最適解がグローバルに最適であり、かつ標準的な分割問題とは異なり多項式時間で計算可能であることが確認された。
• 2値入力通信チャネルを用いた数値的検証により、本手法が真のグローバル最適解を正確に特定でき、全検索による結果と一致することが確認された。