[論文レビュー] Evaluating structure learning algorithms with a balanced scoring function

Anthony C. Constantinou|arXiv (Cornell University)|May 29, 2019

Bayesian Modeling and Causal Inference参考文献 145被引用数 8

ひとこと要約

本論文は、真の構造におけるエッジ／ノーエッジの頻度に基づいて報酬を調整することにより、従来の構造学習アルゴリズムの評価におけるバイアスを是正する新しい評価指標であるバランススコア関数（BSF）を導入する。BSFは、ベイジアンネットワークおよび因果グラフの発見アルゴリズムの公平な比較を可能にし、一般的に報酬を与えられがちな単純すぎる、過小適合の傾向にある構造への偏りを低減する。

ABSTRACT

Several structure learning algorithms have been proposed towards discovering causal or Bayesian Network (BN) graphs. The validity of these algorithms tends to be evaluated by assessing the relationship between the learnt and the ground truth graph. However, there is no agreed scoring metric to determine this relationship. Moreover, this paper shows that some of the commonly used metrics tend to be biased in favour of graphs that minimise edges. While graphs that are less complex are desirable, some of the metrics favour underfitted graphs, thereby encouraging limited propagation of evidence. This paper proposes the Balanced Scoring Function (BSF) that eliminates this bias by adjusting the reward function based on the difficulty of discovering an edge, or no edge, proportional to their occurrence rate in the ground truth graph. The BSF score can be used in conjunction with other traditional metrics to provide an alternative and unbiased assessment about the capability of a structure learning algorithm in discovering causal or BN graphs.

研究の動機と目的

• ベイジアンネットワークおよび因果グラフにおける構造学習アルゴリズムの評価に用いられる標準的で偏りのないスコア指標の欠如に対処すること。
• エッジ数の少ない構造を好む従来のスコア指標に内在するバイアスを特定・是正し、過小適合を引き起こす要因を解消すること。
• 真の構造におけるエッジまたはノーエッジの正しく特定する難易度に応じて、報酬を動的に調整するスコア関数を設計すること。
• 従来の指標に対する信頼性が高くバランスの取れた代替指標を提供し、構造学習アルゴリズムの真の能力を的確に評価すること。
• 現実世界のグラフにおけるエッジ発見の実際の難易度を反映することで、アルゴリズム比較の妥当性を向上させること。

提案手法

• 真の構造グラフにおけるエッジおよびノーエッジの頻度に基づいてスコアを計算するバランススコア関数（BSF）を提案する。
• 真の構造における出現頻度の逆数によって、エッジまたはノーエッジを正しく特定した場合の報酬を調整し、スパarsなグラフへのバイアスを低減する。
• 既存の評価指標と統合することで、構造学習性能に対する補完的で偏りのない評価を提供する。
• 真の構造におけるエッジおよびノーエッジの相対的頻度を用いて、各予測タスクの難易度をキャリブレーションする。
• 複数のベンチマークデータセット（真の構造グラフが既知）を用いて、構造学習アルゴリズムの比較にスコア関数を適用する。
• 過小適合を罰する仕組みを備えたバランスの取れた評価フレームワークを採用し、一般的なエッジとレアなエッジの両方の正確な回復を奨励する。

実験結果

リサーチクエスチョン

• RQ1 従来の評価指標は、構造学習においてどのようにして単純でエッジ数が少ないグラフを系統的に好む傾向があるか？
• RQ2 真の構造におけるエッジ頻度は、既存のスコア指標の公平性にどの程度影響を与えるか？
• RQ3 構造学習の評価においてスパースなグラフへのバイアスを是正できるスコア関数を設計できるか？
• RQ4 バランススコア関数（BSF）は、ベイジアンネットワーク発見におけるアルゴリズム比較の信頼性をどのように向上させるか？
• RQ5 BSFは、因果的またはベイジアンネットワーク構造の回復におけるアルゴリズムの真の能力をより正確に反映するのか？

主な発見

• F1スコアや構造的ハミング距離といった従来の指標は、エッジ数が少ないグラフを系統的に好むバイアスを示しており、過小適合モデルを優遇する。
• バランススコア関数（BSF）は、真の構造におけるエッジおよびノーエッジの頻度に基づいて報酬を調整することで、このバイアスを効果的に是正する。
• 従来の指標でペナルティを受けていた、より複雑で正確なグラフを生成するアルゴリズムが、BSFでは高いスコアを獲得し、その真の性能が反映される。
• BSFは、真の構造グラフのエッジ分布が一様でない状況においても、構造学習アルゴリズムの比較をより信頼性があり公平に行うことを可能にする。
• 実験結果から、BSFは従来の指標では検出できない性能差、特に希少だが意味のあるエッジの回復に関する差を明らかにする。
• 提案されたスコア関数は、因果的およびベイジアンネットワークの構造発見における構造学習アルゴリズムの能力を、よりバランスの取れて現実的な形で評価する手助けを提供する。