[論文レビュー] Unsupervised Submodular Rank Aggregation on Score-based Permutations

Jun Qi, Liu, Xu+2 more|arXiv (Cornell University)|Jul 4, 2017

Rough Sets and Fuzzy Logic参考文献 16被引用数 3

ひとこと要約

本稿では、スコアベースの順序付けに対してLovász Bregman (LB) 散発を用いた教師なし部分モジュラー順序集約フレームワークを提案する。凸かつネストされた構造的最適化を活用し、複数のソースからの順序を統合する。この手法は、教師なしラベルを必要とせず、分散型ニューラルネットワーク出力の集約を効果的に行うことで、自動音声認識（ASR）で最先端の性能を達成し、発話誤り率（PER）を18.1%まで低減した。これはベースラインのAdaboost手法よりも1.2%改善された結果である。

ABSTRACT

Unsupervised rank aggregation on score-based permutations, which is widely used in many applications, has not been deeply explored yet. This work studies the use of submodular optimization for rank aggregation on score-based permutations in an unsupervised way. Specifically, we propose an unsupervised approach based on the Lovasz Bregman divergence for setting up linear structured convex and nested structured concave objective functions. In addition, stochastic optimization methods are applied in the training process and efficient algorithms for inference can be guaranteed. The experimental results from Information Retrieval, Combining Distributed Neural Networks, Influencers in Social Networks, and Distributed Automatic Speech Recognition tasks demonstrate the effectiveness of the proposed methods.

研究の動機と目的

• スコアベースの順序付け（相対順序ではなく数値スコアで表現される順序）を対象とした教師なし順序集約手法の不足に応えること。
• 部分モジュラー最適化と教師なし順序集約のギャップを埋めるために、スコアベースの順序付けに対してLovász Bregman散発を凸目的関数として定式化すること。
• 分散ディープラーニングや情報検索などの大規模応用に適した効率的な推論および確率的最適化アルゴリズムの開発。
• ネストされた構造的定式化が、線形および既存のベースラインと比較して集約性能の向上をもたらすことを実証すること。
• 複数のモデルからの出力をスケーラブルかつラベルフリーに統合できること。特に、関連スコアが高価または取得不可能な状況において有効である。

提案手法

• 部分モジュラー関数およびそのLovász拡張を用いて、スコアベースの順序付けと順序ベースのコンSENSUSとの間の散発を測るためのユーティリティ関数としてLovász Bregman (LB) 散発を定式化する。
• LB散発に基づく線形構造的凸最適化目的関数を構築し、集約スコアとコンセンサス順序との間の散発を最小化する。
• 階層的依存関係をモデル化するためのネストされた構造的凹最適化フレームワークを導入し、表現能力を向上させる。
• 大規模かつ分散型モデル出力からの学習を効率的に行うために、確率的最適化技術を適用する。
• 非凸なネストされた定式化に対する解を反復的に近似しつつ収束保証を維持するため、最小化-最大化（MMAX）アルゴリズムを用いる。
• 目的関数を入力スコアベクトルと部分モジュラー関数勾配の差の内積として定義する：$ d_{ ilde{f}}( extbf{x}||oldsymbol{ heta}) = extbf{x}^ op (h_{oldsymbol{ heta}}^f - h_{oldsymbol{ heta}}^f) $、ここで$ h $ は部分モジュラー関数の増分ベクトルを表す。

実験結果

リサーチクエスチョン

• RQ1 スコアベースの順序付け（相対順序ではなく数値スコアが入力となる）に対して、Lovász Bregman散発を教師なし順序集約に効果的に適応できるか？
• RQ2 提案された線形構造的凸定式化は、平均化やULARAなどの既存の教師なし集約手法と比較して、性能およびスケーラビリティの面で優れているか？
• RQ3 ネストされた構造的凹定式化は、自動音声認識などの実世界応用において、線形およびベースライン手法と比較して顕著な性能向上をもたらすか？
• RQ4 本手法は、数千の順序付けおよび高次元出力を伴う大規模データセットにもスケーラブルに適用できるか？
• RQ5 モデルアーキテクチャの深さが、ネストされた構造的LB散発定式化の性能に与える影響は何か？また、より深い構造は効果的に最適化可能か？

主な発見

• ネストされた構造的LB散発定式化は、TIMITデータセットで発話誤り率（PER）18.1%を達成し、Adaboostベースライン（18.3%）およびテストした他のすべての手法を上回った。
• 本手法はAdaboostベースラインと比較してPERを1.2ポイント改善し、分散型自動音声認識における顕著な向上を示した。
• 線形構造的定式化はPER18.7%を達成し、平均化（20.1%）およびULARA（19.5%）よりも優れていたが、ネストされた定式化よりは劣った。
• 本手法は、音声認識における8つの分散型DNN出力の統合において最先端の性能を達成し、実世界応用における有効性を実証した。
• 計算複雑性が低く、効率的な確率的最適化を備えることで、最小限の教師信号で大規模データセットの学習が可能であると示された。
• ネスト構造による利点は、集約プロセスにおける階層的依存関係のより良いモデル化に起因するとされたが、データに強制アライメントバイアスが存在するため、わずかな改善にとどまった。