[論文レビュー] Soft edit distance for differentiable comparison of symbolic sequences

Evgenii Ofitserov, В. Я. Цветков+1 more|arXiv (Cornell University)|Apr 29, 2019

Algorithms and Data Compression参考文献 10被引用数 4

ひとこと要約

本稿では、勾配ベース最適化が可能な記号列のための微分可能で滑らかなLevenshtein編集距離の近似として、Soft Edit Distance (SED) を提案する。符号列を連続的符号化行列として表現し、温度パラメータ τ を用いたソフトミニマム操作を適用することで、再帰関係を介した効率的バックプロパゲーションと多項式時間計算が可能となり、バイオインフォマティクスおよび自然言語処理における効果的なシーケンスクラスタリングおよびコンSENSUS探索を可能にする。

ABSTRACT

Edit distance, also known as Levenshtein distance, is an essential way to compare two strings that proved to be particularly useful in the analysis of genetic sequences and natural language processing. However, edit distance is a discrete function that is known to be hard to optimize. This fact hampers the use of this metric in Machine Learning. Even as simple algorithm as K-means fails to cluster a set of sequences using edit distance if they are of variable length and abundance. In this paper we propose a novel metric - soft edit distance (SED), which is a smooth approximation of edit distance. It is differentiable and therefore it is possible to optimize it with gradient methods. Similar to original edit distance, SED as well as its derivatives can be calculated with recurrent formulas at polynomial time. We prove usefulness of the proposed metric on synthetic datasets and clustering of biological sequences.

研究の動機と目的

• 非微分可能であるため、機械学習における離散的編集距離の最適化の課題に対処すること。
• 可変長の記号的シーケンスにおけるシーケンスクラスタリングおよび重心計算の勾配ベース最適化を可能にすること。
• 編集距離を解釈可能で計算効率の良い形に保ちつつ、連続的で微分可能なメトリックを構築すること。
• K-means などの標準的な機械学習アルゴリズムをシーケンスデータに適用可能にするために、離散的編集距離を微分可能な代替手段に置き換えること。
• バイオインフォマティクスおよび自然言語処理における大規模シーケンス解析のスケーラブルな解決策を提供し、従来の動的計画法のビッグデータにおける限界を克服すること。

提案手法

• アルファベット G 上の各記号列を、サイズ L×|G| の連続的ワンホット符号化行列として表現し、各行をアルファベット G 上のソフトマックス確率ベクトルとする。
• 温度パラメータ τ でスケーリングされた負の編集コストの指数関数を重みとする、すべての可能な編集経路におけるソフトミニマム操作を用いて、Soft Edit Distance (SED) を定義する。
• 古典的編集距離に類似した動的計画法の状態における再帰関係を用いて、SED およびその勾配を定式化し、微分可能にする。
• バックプロパゲーションをシーケンス比較プロセス全体に可能にするために、SED とその導関数を再帰的に計算するための補助変数 αi,j と βi,j を導入する。
• ソフトミニマム操作の「柔らかさ」を制御するため、温度 τ < 0 を用いる。τ → −∞ の極限で元の編集距離に回復する。
• マッチ、挿入、削除、置換の編集操作の重み付き和を用いて、SED およびその勾配の閉形式再帰関係を導出し、多項式時間計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 解釈可能で構造的特徴を保ちつつ、編集距離の微分可能な近似を構築できるか？
• RQ2 このような微分可能なメトリックが、シーケンスクラスタリングおよびコンSENSUSシーケンス検出のための効果的な勾配ベース最適化を可能にするか？
• RQ3 提案されたソフト編集距離は、古典的編集距離と同等の計算効率を維持しながら、バックプロパゲーションに適しているか？
• RQ4 合成および実際の生物学的シーケンスクラスタリングタスクにおいて、ソフト編集距離は標準的編集距離と比較してどの程度の性能を示すか？
• RQ5 勾配ベース最適化を用いて、シーケンス空間における重心を効率的に計算できるか？

主な発見

• 提案された Soft Edit Distance (SED) は、シーケンス空間における勾配ベース最適化を可能にする滑らかで微分可能なLevenshtein編集距離の近似である。
• 古典的編集距離に類似した動的計画法の状態における再帰関係を用いることで、SED およびその勾配は多項式時間で計算可能である。
• K-means などの勾配ベースアルゴリズムを用いた可変長記号的シーケンスの効果的クラスタリングが可能であり、離散的編集距離では失敗する。
• 温度 τ を用いたソフトミニマム操作により、離散的最小値の連続的リラクゼーションが実現され、編集経路選択プロセスにおけるバックプロパゲーションが可能になる。
• 合成および生物学的シーケンスを用いた実験的評価により、SED は正確なコンセンサスシーケンス検出およびクラスタリングを支援し、最適化安定性において非微分可能な代替手法を上回ることが確認された。
• αi,j と βi,j の再帰関係により、SED およびその導関数の効率的計算が可能となり、バイオインフォマティクスおよび自然言語処理における大規模シーケンス解析にスケーラブルな手法が実現された。