[論文レビュー] Structure Learning with Continuous Optimization: A Sober Look and Beyond

Ignavier Ng, Biwei Huang+1 more|arXiv (Cornell University)|Apr 4, 2023

Computational Drug Discovery Methods被引用数 5

ひとこと要約

本稿は、有向無閉路グラフ（DAG）構造学習のための連続最適化手法を批判的に検討し、性能が分散順序に起因するとの先行主張に疑問を呈する。非凸性としきい値処理が主な課題であることが示され、特にi.i.d.でないノイズ下では顕著になる。等しいノイズ分散の仮定を超える堅牢な定式化と、スパarsityおよびエッジしきい値処理の改善が求められることが強調される。

ABSTRACT

This paper investigates in which cases continuous optimization for directed acyclic graph (DAG) structure learning can and cannot perform well and why this happens, and suggests possible directions to make the search procedure more reliable. Reisach et al. (2021) suggested that the remarkable performance of several continuous structure learning approaches is primarily driven by a high agreement between the order of increasing marginal variances and the topological order, and demonstrated that these approaches do not perform well after data standardization. We analyze this phenomenon for continuous approaches assuming equal and non-equal noise variances, and show that the statement may not hold in either case by providing counterexamples, justifications, and possible alternative explanations. We further demonstrate that nonconvexity may be a main concern especially for the non-equal noise variances formulation, while recent advances in continuous structure learning fail to achieve improvement in this case. Our findings suggest that future works should take into account the non-equal noise variances formulation to handle more general settings and for a more comprehensive empirical evaluation. Lastly, we provide insights into other aspects of the search procedure, including thresholding and sparsity, and show that they play an important role in the final solutions.

研究の動機と目的

• 連続的構造学習手法が成功または失敗する条件、特に分散順序とデータ標準化に関して調査すること。
• Reisachら（2021）が主張する「性能は主に周辺分散順序とトポロジカル順序の一致に起因する」という主張に反論すること。
• 非等しいノイズ分散の設定における非凸性の役割を分析すること。これは最近の進展にもかかわらず、依然として主要な障壁のままである。
• しきい値処理とスパarsityペナルティが最終的な構造回復品質に与える影響を評価すること。
• 非等しいノイズ分散の設定を用いたより包括的な評価と、探索の信頼性の向上を提唱すること。

提案手法

• 等しいおよび非等しいノイズ分散の下での線形構造方程式モデル（SEMs）を分析し、Reisachらの分散順序仮説の妥当性を評価する。
• 標準化後の性能低下が分散順序に起因するという主張を反証するための反例を構築する。
• 15ノードのErdős–Rényiグラフを用い、さまざまなサンプルサイズとノイズ構造でNOTEARS-EV、GOLEM-EV、GDSを実験的に評価する。
• 連続最適化の出力にしきい値処理を適用し、0.1および0.3のしきい値を用いてエッジ回復品質を評価する。
• NOTEARS-EVおよびGOLEM-EVにおけるスパarsityペナルティ（ℓ₁、SCAD、MCP）を比較し、バイアスおよびエッジ回復性能を評価する。
• 構造的ハミング距離（SHD）を主な指標として用い、さまざまな手法および設定における構造学習の正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 Reisach らが主張するように、データの標準化後に連続的構造学習手法の性能が低下するのは、分散順序の喪失に起因するのだろうか？
• RQ2 等しいノイズ分散の設定下でも、周辺分散順序が性能を決定づけるという仮説を反証できる反例を構築できるか？
• RQ3 最近のDAG制約と探索戦略の進展にもかかわらず、非等しいノイズ分散の設定ではなぜ連続的手法の性能が劣るのか？
• RQ4 しきい値の選択（例：0.1 と 0.3）は、連続的構造学習におけるエッジ回復と誤検出率にどのように影響するか？
• RQ5 異なるスパarsityペナルティ（ℓ₁、SCAD、MCP）は、NOTEARS-EV や GOLEM-EV などの連続的構造学習手法の正確性にどのように影響するか？

主な発見

• 反例により、等しいノイズ分散の設定下でも、連続的構造学習手法の性能が分散順序に起因するとは限らないことが示された。
• データの標準化後の性能低下は、分散順序に起因するとは限らない。非等しいノイズ分散の設定における非凸性のほうが、より妥当な説明である。
• 非等しいノイズ分散の設定における非凸性は、依然として主要な障壁であり、最近のDAG制約や探索戦略の進展にもかかわらず、性能向上に寄与しない。
• しきい値0.1は、真のエッジ重みが小さい場合に特に顕著なエッジ削除を引き起こすため、標準的なしきい値は過剰に攻撃的である可能性がある。
• しきい値処理は、有限標本誤差と非凸性に起因する誤検出を低減できる。特にNOTEARS-EVでは、有益だが感受性が強い役割を果たす。
• ℓ₁ペナルティはバイアスのため性能が劣るが、SCADおよびMCPペナルティはより優れたエッジ回復を達成する。これは、非凸スパarsityペナルティが連続的構造学習においてより効果的であることを示唆する。