[論文レビュー] First Place Solution of KDD Cup 2021 OGB Large-Scale Challenge Graph-Level Track

Chengxuan Ying, Mingqi Yang+8 more|arXiv (Cornell University)|Jun 15, 2021

Web Data Mining and Analysis被引用数 1

ひとこと要約

この論文は、KDD Cup 2021 OGB Large-Scale Challenge Graph-Level Track の優勝ソリューションを提示している。Graphormer と ExpC モデルを用い、8-fold 交差検証および訓練/検証セットの結合による追加学習で訓練した。最終的な提出は、18 個のモデルの単純平均アンサンブルを採用し、テスト MAE 0.1200 を達成し、1位を獲得した。

ABSTRACT

In this technical report, we present our solution of KDD Cup 2021 OGB Large-Scale Challenge - PCQM4M-LSC Track. We adopt Graphormer and ExpC as our basic models. We train each model by 8-fold cross-validation, and additionally train two Graphormer models on the union of training and validation sets with different random seeds. For final submission, we use a naive ensemble for these 18 models by taking average of their outputs. Using our method, our team MachineLearning achieved 0.1200 MAE on test set, which won the first place in KDD Cup graph-level track.

研究の動機と目的

• KDD Cup 2021 OGB チャレンジの PCQM4M-LSC データセットに対して、強固で高精度なグラフレベル回帰モデルを開発すること。
• 高精度な予測を実現する大規模分子グラフ回帰の課題に対処すること。
• 複数のモデルを効果的に組み合わせることで、テストセットで最先端のパフォーマンスを達成すること。
• 交差検証とデータ結合戦略を活用して、モデルの汎化性能を向上させること。

提案手法

• 著者らは、グラフレベル回帰のベースモデルとして Graphormer と ExpC を使用している。
• 各モデルは、訓練セット上で 8-fold 交差検証を用いて訓練されている。
• 訓練済みの Graphormer モデルを、異なるランダムシードを用いて訓練/検証セットの結合データ上で2つ追加で学習している。
• 最終的な予測は、18 個の異なるモデルの出力を単純平均することで生成される。
• 異なる訓練分割と初期化を用いることで、モデルの多様性と頑健性を強調している。

実験結果

リサーチクエスチョン

• RQ1 Graphormer と ExpC モデルの組み合わせは、大規模分子グラフ回帰において優れたパフォーマンスを達成できるか？
• RQ2 多様な訓練分割とデータ結合戦略を用いたモデルアンサンブルは、汎化性能の向上にどの程度効果的か？
• RQ3 交差検証と結合データセットへの追加学習によって、どの程度のパフォーマンス向上が達成できるか？
• RQ4 この設定において、単純な平均アンサンブルは、より複雑なアンサンブル手法を上回る性能を発揮するか？

主な発見

• 提案されたアンサンブル手法は、テスト MAE 0.1200 を達成し、KDD Cup 2021 OGB Large-Scale Challenge で最高の結果であった。
• 8-fold 交差検証の使用により、異なるデータ分割におけるモデルの安定性と汎化性能が向上した。
• 訓練/検証セットの結合データ上で追加で学習した Graphormer モデルは、さらにパフォーマンスを向上させた。
• 18 個のモデルのナアイブアンサンブルは、個々のモデルを上回った。これは、この設定においてモデル平均化の有効性を示している。