[論文レビュー] Tree Edit Distance Learning via Adaptive Symbol Embeddings

Benjamin Paaßen|arXiv (Cornell University)|Jan 1, 2018

Immune responses and vaccinations被引用数 17

ひとこと要約

本稿では、木編集距離のための新しいメトリック学習アプローチとして、埋め込み編集距離学習（BEDL）を提案する。BEDLは、木のノードラベルのベクトル埋め込みを学習することで、ユークリッド距離メトリックを誘導する。プロトタイプ木上で一般化学習ベクトル量子化（GLVQ）を最適化することにより、メトリックの性質を保証し、解釈可能性を向上させ、バイオインフォマティクス、プログラム解析、NLPタスクを含む6つの多様なベンチマークで最先端の分類精度を達成する。

ABSTRACT

Metric learning has the aim to improve classification accuracy by learning a distance measure which brings data points from the same class closer together and pushes data points from different classes further apart. Recent research has demonstrated that metric learning approaches can also be applied to trees, such as molecular structures, abstract syntax trees of computer programs, or syntax trees of natural language, by learning the cost function of an edit distance, i.e. the costs of replacing, deleting, or inserting nodes in a tree. However, learning such costs directly may yield an edit distance which violates metric axioms, is challenging to interpret, and may not generalize well. In this contribution, we propose a novel metric learning approach for trees which we call embedding edit distance learning (BEDL) and which learns an edit distance indirectly by embedding the tree nodes as vectors, such that the Euclidean distance between those vectors supports class discrimination. We learn such embeddings by reducing the distance to prototypical trees from the same class and increasing the distance to prototypical trees from different classes. In our experiments, we show that BEDL improves upon the state-of-the-art in metric learning for trees on six benchmark data sets, ranging from computer science over biomedical data to a natural-language processing data set containing over 300,000 nodes.

研究の動機と目的

• 直接的な編集コスト学習の限界、例えばメトリック公理の違反や一般化性能の低さを解消すること。
• スカラーオペレーションコストをベクトル埋め込みに置き換えることで、学習された編集距離の解釈可能性を向上させること。
• 判別性と理論的根拠の両方を備えた、木編集距離のためのメトリック学習フレームワークを開発すること。
• 微分可能で解釈可能な距離メトリックを用いて、構文木、分子構造、プログラムのASTなどの構造的データに対する効果的な分類を可能にすること。
• 精度と頑健性の面で、既存の最先端の木編集距離用メトリック学習手法を上回ること。

提案手法

• ノードラベルのベクトル埋め込みを用いて木編集距離を再定式化し、編集コストを埋め込み間のユークリッド距離から導出する。
• データポイントをそのクラスのプロトタイプに近づけ、他のクラスのプロトタイプから遠ざけるために、一般化学習ベクトル量子化（GLVQ）を目的関数として採用する。
• すべての共最適な編集スクリプトを統合する前向き後向きアルゴリズムを用いることで、単一の最適パスに依存するのと比べて、より頑健な性能を実現する。
• 中央値学習ベクトル量子化（MLVQ）を用いてプロトタイプを選択することで、必要な学習タプルの数を線形スケールに削減する。
• 確率的勾配降下法を用いてエンドツーエンドで埋め込みを学習し、埋め込み空間におけるクラスの判別を最適化する。
• 学習済み埋め込み上のユークリッド距離を用いることで、非負性、同一性、対称性、三角不等式といったメトリックの性質を本質的に保証する。

実験結果

リサーチクエスチョン

• RQ1 木のノードラベルの学習済みベクトル埋め込みは、直接的なコスト学習と比較して、より判別力があり解釈可能な編集距離をもたらすか？
• RQ2 最適な編集スクリプトを1つだけではなく、すべての共最適なスクリプトを考慮することで、木編集距離のためのメトリック学習の頑健性と性能が向上するか？
• RQ3 プロトタイプ上でGLVQベースの最適化を施すことで、既存の編集距離メトリック学習手法と比較して、より良い一般化性能と分類精度が得られるか？
• RQ4 学習済み埋め込みの解釈可能性が、データの下位構造を理解するのにおいてどの程度役立つか？
• RQ5 Good Edit Similarity Learning（GESL）のような最先端の手法と比較して、本手法は多様な木構造データセットにおいて、精度と実行時間の両面で優れているか？

主な発見

• BEDLは、JavaプログラムのAST、分子構造、感情分析木（30万ノード以上）を含む6つのベンチマークデータセットで、最先端の分類精度を達成した。
• CysticデータセットではAUCを76.93% ± 0.97%から79.2% ± 13.6%に向上させ、Leukemiaでは93.8% ± 3.3%から94.6% ± 4.5%に向上させ、先行手法を上回った。
• Sentimentデータセットでは、バリデーションセットで27.51%のSVM分類誤差を達成したが、バリデーションポイントが500個しかなく、これは競争力がある結果である。
• 実際の編集距離において、本手法はGESLを著しく上回ったが、GESLは特に大規模データセットにおいて、ベースラインの木編集距離を下回る傾向にあった。
• アブレーションスタディの結果、共最適な編集スクリプトとGLVQプロトタイプの使用はMiniPalindromeでの性能向上に寄与した。一方、埋め込みベースのアプローチは実際の編集距離には向上効果を示したが、擬似編集距離には効果がなかった。
• 学習済み埋め込みの可視化により、意味のある構造が明らかになった：不要な記号は原点付近に埋め込まれており、'block'、'while'、'modifiers'、'パラメータ化された型'といった判別的で意味のある概念は明確に分離され、その機能的役割を反映した位置に配置されていた。