[論文レビュー] Approximating 1-Wasserstein Distance with Trees

Makoto Yamada, Yuki Takezawa+4 more|arXiv (Cornell University)|Jun 24, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、1-Wasserstein距離（WD）の近似に線形時間計算量を達成する木構造埋め込みにおける最適なエッジ重みを学習するためのラッソベースの手法を提案する。木に基づく最短経路距離を線形モデルとして定式化し、非負ラッソ問題を解くことで、正確な1-WDの高精度な近似が達成される。これは、四分木（QuadTree）やクラスターツリー（ClusterTree）といったベースライン木構造を上回り、MAEと相関係数の両面で優れた性能を発揮する。同時に、L1正則化によるスパarsityも実現する。

ABSTRACT

Wasserstein distance, which measures the discrepancy between distributions, shows efficacy in various types of natural language processing (NLP) and computer vision (CV) applications. One of the challenges in estimating Wasserstein distance is that it is computationally expensive and does not scale well for many distribution comparison tasks. In this paper, we aim to approximate the 1-Wasserstein distance by the tree-Wasserstein distance (TWD), where TWD is a 1-Wasserstein distance with tree-based embedding and can be computed in linear time with respect to the number of nodes on a tree. More specifically, we propose a simple yet efficient L1-regularized approach to learning the weights of the edges in a tree. To this end, we first show that the 1-Wasserstein approximation problem can be formulated as a distance approximation problem using the shortest path distance on a tree. We then show that the shortest path distance can be represented by a linear model and can be formulated as a Lasso-based regression problem. Owing to the convex formulation, we can obtain a globally optimal solution efficiently. Moreover, we propose a tree-sliced variant of these methods. Through experiments, we demonstrated that the weighted TWD can accurately approximate the original 1-Wasserstein distance.

研究の動機と目的

• 自然言語処理（NLP）およびコンピュータビジョン（CV）応用における正確な1-Wasserstein距離推定の高コスト問題に対処すること。
• 最適でない木構造による高めの近似誤差に苦しむ木ベースのWasserstein近似の精度を向上させること。
• 木における最適なエッジ重みを学習するための微分可能で凸最適化フレームワークを構築すること。
• 性能と耐性を向上させるために、木スライスド変種への拡張を図ること。
• L1正則化付き重み学習が、高精度とモデル圧縮の両立を可能にすることを示すこと。

提案手法

• 固定された木構造上で1-Wasserstein距離の近似問題を最短経路距離の近似問題として定式化する。
• 最短経路距離をエッジ重みの線形モデルとして表現し、回帰ベースの最適化を可能にする。
• 凸性とグローバル最適性を保証するため、エッジ重みの学習を非負ラッソベースの最適化問題として定式化する。
• スパースな重みの計算を効率的に行うために、標準のラッソソルバー（例：SPAMS）を活用する。
• 複数のランダムな木射影の平均をとることで、計算コストを増加させずに性能を向上させる木スライスド変種を提案する。
• L1正則化を適用して重要なエッジでないものをプルーニングし、性能損失を最小限に抑えつつ、コンactかつスパースな木表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラッソ学習に基づく凸最適化フレームワークは、木ベースの1-Wasserstein距離近似の精度を向上させることができるか？
• RQ2 本手法は、四分木（QuadTree）やクラスターツリー（ClusterTree）といった標準的な木構造と比較して、正確な1-WDをどの程度うまく近似できるか？
• RQ3 木スライスド変種は、特に正確な1-WDとの相関係数において、どの程度性能を向上させるか？
• RQ4 L1正則化は、近似精度を維持したまま木を効果的に圧縮できるか？
• RQ5 訓練サンプル数の増加に伴い、本手法の性能はどのように変化するか？有利にスケーリングされるか？

主な発見

• 提案手法であるqTWDおよびcTWDは、すべてのデータセットで四分木（QuadTree）やクラスターツリー（ClusterTree）よりも顕著に低い平均絶対誤差（MAE）を達成しており、四分木のMAEと比べて1桁小さい値を示した。
• アマゾンデータセットでは、λ=10⁻¹のスライスド-cTWDが29,540ノードでPCC=0.870を達成し、32,642.3ノードを要するcTWD（PCC=0.785）を上回った。
• λ=10⁻¹（ノードの10％）であっても、qTWDおよびcTWDは、完全な四分木やクラスターツリーと同等の高いPCC値を維持した。
• L1正則化により、非ゼロの木の重み数が著しく削減され、性能劣化を伴わずに効果的なスパarsityが実現された。
• 訓練サンプル数の増加に伴いPCCが向上し、100,000サンプルで収束が観察された。また、小さな訓練セットでもMAEは低く保たれた。
• 非スライスドおよびスライスドのベースラインと比較して、本手法はMAEおよびPCCの両面で優れた性能を示し、正確な1-Wasserstein距離の近似において一貫した優位性を示した。