[論文レビュー] Evaluation Metrics for Graph Generative Models: Problems, Pitfalls, and Practical Solutions

Leslie O’Bray, Max Horn+2 more|arXiv (Cornell University)|Jun 2, 2021

Data Visualization and Analytics被引用数 5

ひとこと要約

本論文は、グラフ生成モデルの評価における最大平均差分（MMD）を主な指標として用いる際の重大な欠陥を特定し、カーネルおよびパrameterの選択がモデルランク付けを恣意的に歪めることを示している。本研究では、構造的差異に一貫した感度を示す強固なMMD設定を選択するための摂動ベースの検証プロトコルを提案し、モデル比較における公平性と再現可能性を向上させている。

ABSTRACT

Graph generative models are a highly active branch of machine learning. Given the steady development of new models of ever-increasing complexity, it is necessary to provide a principled way to evaluate and compare them. In this paper, we enumerate the desirable criteria for such a comparison metric and provide an overview of the status quo of graph generative model comparison in use today, which predominantly relies on the maximum mean discrepancy (MMD). We perform a systematic evaluation of MMD in the context of graph generative model comparison, highlighting some of the challenges and pitfalls researchers inadvertently may encounter. After conducting a thorough analysis of the behaviour of MMD on synthetically-generated perturbed graphs as well as on recently-proposed graph generative models, we are able to provide a suitable procedure to mitigate these challenges and pitfalls. We aggregate our findings into a list of practical recommendations for researchers to use when evaluating graph generative models.

研究の動機と目的

• グラフ生成モデルの評価における最大平均差分（MMD）が支配的指標として用いられる際の欠陥を特定・分析すること。
• MMDにおけるカーネルおよびパrameterの選択が、構造的差異が増大するにもかかわらず誤ったまたは非単調なモデルランク付けを引き起こすメカニズムを調査すること。
• 摂動に対して強固で、真の分布的差異に敏感なMMDカーネルおよびパrameterの組み合わせを特定する実用的で再現可能な手順を開発すること。
• 研究者が特定のモデルに依存しない公平で信頼性の高いグラフ生成モデルの評価を実施できるよう、具体的な推奨事項を提供すること。

提案手法

• バラバシ＝アルバート、エレース＝レニ、ウォッツ＝ストログラツの3つの一般的なネットワークモデルを用いて、合成的に摂動を加えたグラフ上でMMDの挙動を体系的に評価する。
• 複数のデータセットにわたり、エッジ追加、エッジ削除、エッジ再接続、ノード追加の4種類のグラフ摂動を適用し、構造的差異を段階的に増大させる。
• 摂動度とMMD距離のピアソン相関を信頼性の指標とし、記述子関数とカーネルパrameterの組み合わせごとに成績を可視化するためのヒートマップを生成する。
• 摂動レベルとの相関が最も高い組み合わせを最適なカーネル・パラメータの組み合わせとして選定し、構造的変化に一貫した感度を確保する。
• モデル固有の性能に依存しない、標準化された摂動実験を提案することで、カーネル選択の再現可能性と公平性を向上させる。
• 記述子関数の選択と指標評価を分離するモジュラーな評価パイプラインに本手法を統合し、研究間での一貫性を促進する。

実験結果

リサーチクエスチョン

• RQ1 MMDにおけるカーネルおよびパラメータの選択が、グラフ生成モデルの構造的類似性評価におけるランク付けにどのように影響を与えるか。
• RQ2 グラフ分布間の構造的差異が増大するにもかかわらず、MMDが単調に増加しない程度はどの程度か。
• RQ3 摂動ベースの検証プロトコルは、構造的変化に強固で感度の高いMMDカーネル・パラメータの組み合わせを信頼性を持って同定できるか。
• RQ4 不適切なMMD設定がモデル評価に与える実用的影響は何か。また、それらをどのように緩和できるか。
• RQ5 研究者がMMDに基づく評価を公平で再現可能かつ特定のモデルに依存しない形で行うにはどうすればよいか。

主な発見

• 不適切なカーネル・パラメータの組み合わせが用いられると、摂動度とMMD距離の間に非単調的あるいは逆相関が生じ、誤ったモデルランク付けを引き起こす可能性がある。
• 最良のカーネル・パラメータの組み合わせでは摂動度とのピアソン相関が約0.95に達した一方、最悪の組み合わせでは逆相関の-0.35を示し、設定に極めて敏感であることが明らかになった。
• クラスタリング係数や次数分布といった記述子関数では、MMDの挙動が一貫せず、一部の組み合わせでは摂動度が増大してもMMDが低下するなど、相関がない、あるいは逆転するケースも観察された。
• 提案された摂動ベースの選択プロトコルは、全テスト対象のグラフタイプにわたり、摂動レベルと高い相関を維持する強固なカーネル・パラメータのペアを的確に同定できた。
• 例えば5%のエッジ再接続といった、固定されたドメイン関連の摂動レベルをカーネル選定のベンチマークとして用いることで、モデル固有の性能に依存しないより信頼性の高い比較評価が可能になる。
• 本手法により、カーネル選定とモデル比較を分離することで、再現可能な評価が可能となり、バイアスが低減され、モデルベンチマークにおける公平性が向上する。