[論文レビュー] Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

Zhi-Xiu Ye, Zhen-Hua Ling|arXiv (Cornell University)|Jun 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 20

ひとこと要約

本稿では、少数ショット関係分類のためのマルチレベルマッチングとアグリゲーションネットワーク（MLMAN）を提案する。MLMANは、局所的およびインスタンスレベルのクエリ・サポートインスタンス間の相互作用を同時にモデル化する。インタラクティブマッチングとアテンションベースのアグリゲーションを採用することで、FewRelベンチマーク上で最先端の性能を達成し、代表表現学習と一貫性正則化を強化することで、先行するプロトタイプネットワークを上回る。

ABSTRACT

This paper presents a multi-level matching and aggregation network (MLMAN) for few-shot relation classification. Previous studies on this topic adopt prototypical networks, which calculate the embedding vector of a query instance and the prototype vector of each support set independently. In contrast, our proposed MLMAN model encodes the query instance and each support set in an interactive way by considering their matching information at both local and instance levels. The final class prototype for each support set is obtained by attentive aggregation over the representations of its support instances, where the weights are calculated using the query instance. Experimental results demonstrate the effectiveness of our proposed methods, which achieve a new state-of-the-art performance on the FewRel dataset.

研究の動機と目的

• 希少関係のためのラベル付きデータが不足する状況に起因する長尾問題に対処すること。
• クエリインスタンスとサポートセットの間の相互作用的依存関係をモデル化することで、それらを独立に扱うのではなく、少数ショット関係分類を改善すること。
• クエリとのマッチングスコアに基づいて重み付けされたサポートインスタンスのアテンションベースのアグリゲーションを組み込むことで、プロトタイプ学習を強化すること。
• 各クラス内でのサポートインスタンス表現の不一致を最小化するための補助的一致性損失を導入することで、モデルのロバスト性を向上させること。

提案手法

• 文マッチングフレームワークにインspiredされたソフトアテンション機構を用いて、クエリとサポートインスタンス表現の間で局所的マッチングを実行する。
• 最大プーリングと平均プーリングを用いて局所表現をアグリゲートし、クエリおよびサポートインスタンスの埋め込み表現を形成する。
• クエリと各サポートインスタンス間の類似度を測るため、マルチレイヤーパーセプトロン（MLP）を用いてインスタンスレベルのマッチングスコアを計算する。
• インスタンスレベルのマッチングスコアから導出されるアテンション重みを用いて、サポートインスタンス表現のアテンションベースのアグリゲーションにより、クラスプロトタイプを形成する。
• 最終的な分類スコアを、クエリと各クラスプロトタイプの間で計算するための、学習可能なMLPをクラスマッチング関数として用いる。
• 各クラス内でのサポートインスタンス表現の不一致を最小化する補助的一致性損失を導入し、プロトタイプの質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クエリとサポートインスタンスの複数レベルでのインタラクティブモデリングは、独立した符号化を超えて少数ショット関係分類を改善できるか？
• RQ2 クエリとサポートインスタンス間の局所的マッチングは、直接的なプロトタイプ計算と比較して表現品質を向上させるか？
• RQ3 アテンションベースのインスタンスレベルアグリゲーションは、単純な平均化と比較して、クラスプロトタイプ形成において優れているか？
• RQ4 学習可能なMLPマッチング関数は、ユークリッド距離のようなメトリックベースの代替手法を上回れるか？
• RQ5 補助的一致性損失は、リソースが限られた関係におけるモデルの一般化性能と性能を向上させるか？

主な発見

• MLMANはFewRelデータセットで新たな最先端の性能を達成し、少数ショット関係分類における優れた一般化性能を示した。
• アブレーションスタディの結果、局所的マッチングを削除すると性能が著しく低下し、表現学習におけるその重要性が浮き彫りになった。
• 局所的マッチングを組み込む場合、学習可能なMLPによるクラスマッチングがユークリッド距離を上回ることで、複雑な依存関係のより良いモデリングが可能であることが示された。
• 補助的一致性損失は、サポートインスタンス表現間の分散を効果的に低減し、プロトタイプの安定性と分類精度を向上させた。
• 連結なしまたは局所的マッチングなしのモデル変種は、完全なモデルに比べて性能が劣っており、構造的相互作用が表現学習において果たす役割が確認された。