[論文レビュー] Knowledge Graph Embedding with Atrous Convolution and Residual Learning

Feiliang Ren, Juchen Li+5 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 51被引用数 4

ひとこと要約

本稿では、アトリエコンボリューションとリーマン学習を活用して特徴の相互作用を強化し、勾配消失を軽減しながらも高いパラメータ効率を維持する知識グラフ埋め込みモデルAcrEを提案する。本モデルは、競合手法よりも少ないパラメータで6つのベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Knowledge graph embedding is an important task and it will benefit lots of downstream applications. Currently, deep neural networks based methods achieve state-of-the-art performance. However, most of these existing methods are very complex and need much time for training and inference. To address this issue, we propose a simple but effective atrous convolution based knowledge graph embedding method. Compared with existing state-of-the-art methods, our method has following main characteristics. First, it effectively increases feature interactions by using atrous convolutions. Second, to address the original information forgotten issue and vanishing/exploding gradient issue, it uses the residual learning method. Third, it has simpler structure but much higher parameter efficiency. We evaluate our method on six benchmark datasets with different evaluation metrics. Extensive experiments show that our model is very effective. On these diverse datasets, it achieves better results than the compared state-of-the-art methods on most of evaluation metrics. The source codes of our model could be found at https://github.com/neukg/AcrE.

研究の動機と目的

• 畳み込み層におけるストライドによる特徴解像度の低下や高コストな複雑さに起因する、深層ニューラルネットワークベースの知識グラフ埋め込み手法の限界を解消すること。
• リーマン学習を用いて、深層ネットワークにおける勾配消失／爆発問題や元の情報の忘却を軽減すること。
• パラメータ数の大幅な増加を伴わせずに、アトリエコンボリューションを活用して知識グラフ埋め込みにおける特徴の相互作用を向上させること。
• 最先端モデルと同等またはそれ以上の性能を維持しつつ、より高いパラメータ効率を達成すること。
• 知識グラフ埋め込みに適した、単純ながらも効果的なアーキテクチャとして、アトリエコンボリューションとリーマン接続を組み合わせること。

提案手法

• フィルタの感受野を拡大するが、パラメータ数や計算コストを増加させないよう、アトリエコンボリューションを採用する。
• 元の特徴を保持し、学習を安定化させるためにリーマン学習を統合し、深層アーキテクチャにおける情報損失を低減する。
• 2つの統合構造を提案する：直列構造と並列構造。複数の畳み込み処理を統合する。
• 直列構造では、スキップ接続を介して畳み込みを逐次的に適用する。並列構造では、要素ごとの加算または連結によって、異なる畳み込みからの特徴を統合する。
• アトリエレートを用いて感受野の拡大を制御し、関係やエンティティ間の有効な文脈集約を可能にする。
• エンティティおよび関係の表現を最適化するために、従来のKGE手法と同様にマージンベースのランク学習損失関数を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 アトリエコンボリューションは、モデル複雑性を増加させることなく、知識グラフ埋め込みにおける特徴の相互作用を効果的に向上させることができるか？
• RQ2 リーマン学習により、情報の忘却や勾配問題を軽減することで、深層KGEモデルの学習安定性と性能が顕著に向上するか？
• RQ3 多様なベンチマークデータセットにおいて、提案されたAcrEモデルは最先端のKGEモデルと比較して、性能とパラメータ効率の両面で優れているか？
• RQ4 並列構造における統合戦略（要素ごとの加算 vs. 連結）がモデル性能に与える影響は何か？
• RQ5 複雑なDNNベースのベースラインを上回る性能を発揮しつつ、学習および推論における高い効率を維持できるか？

主な発見

• AcrEは6つのベンチマークデータセットにおいて最先端の性能を達成し、大多数の評価指標で既存手法を上回った。
• 直列リーマン構造は、より深い逐次層における情報の忘却が顕著であるため、並列構造よりもリーマン学習による性能向上が顕著に見られた。
• 並列構造において、連結ベースの統合手法は要素ごとの加算手法よりも一貫して優れた性能を示した。
• AcrEは、HAKEnの最大2979万パラメータと比較して、ほとんどすべてのベースラインよりも顕著に高いパラメータ効率を達成した。直列バージョンでは約560万、並列バージョンでは約620万パラメータであった。
• 学習時間は、最近のGNNやDNNベースのモデルと比較して顕著に短く、Titan XP GPUを用いたFB15k-237では1エポックあたり約100秒で、全テストセットの推論はたった6秒で完了した。
• 多様なデータセットにわたる汎用性が高く、実世界の知識グラフシナリオにおける強靭性と有効性を確認した。