[論文レビュー] Unsupervised Sequence Classification using Sequential Output Statistics

Yu Liu, Jianshu Chen+1 more|arXiv (Cornell University)|Feb 25, 2017

Machine Learning and Algorithms被引用数 9

ひとこと要約

本稿では、逐次出力統計を用いた教師なし系列分類手法を提案する。特に、自明な解への収束を回避するためのカバレッジ指向行動を促進する、Empirical-ODM と呼ばれる新規なコスト関数を導入している。このコスト関数は、非凸で関数形式の最適化が困難であるため、その最適化に確率的原双対勾配（SPDG）アルゴリズムを導入し、文字認識（OCR）および綴り訂正タスクにおいて、完全に教師あり学習の約2倍のテスト誤差を達成する。これは、ラベルなしデータでも優れた性能を示していることを示している。

ABSTRACT

We consider learning a sequence classifier without labeled data by using sequential output statistics. The problem is highly valuable since obtaining labels in training data is often costly, while the sequential output statistics (e.g., language models) could be obtained independently of input data and thus with low or no cost. To address the problem, we propose an unsupervised learning cost function and study its properties. We show that, compared to earlier works, it is less inclined to be stuck in trivial solutions and avoids the need for a strong generative model. Although it is harder to optimize in its functional form, a stochastic primal-dual gradient method is developed to effectively solve the problem. Experiment results on real-world datasets demonstrate that the new unsupervised learning method gives drastically lower errors than other baseline methods. Specifically, it reaches test errors about twice of those obtained by fully supervised learning.

研究の動機と目的

• 高価なラベル付きデータに依存しない教師なし学習手法を、系列分類の分野で開発すること。
• 従来の教師なし手法の限界、例えば自明な解に陥ることや、強力な生成モデルを必要とすることを解決すること。
• ラベルなしで分類器の学習をガイドするため、逐次出力統計（例：n-gram言語モデル）を事前知識として活用すること。
• 教師なし系列学習に適した最適化特性を向上させた新規なコスト関数の設計。
• 提案手法の有効性を、実世界の系列分類タスクにおいて実証すること。

提案手法

• 事前学習済み言語モデルを事前知識として用い、実測出力分布と一致させる新しい教師なしコスト関数である Empirical-ODM を提案する。
• 従来の手法とは異なり、自明な解への収束リスクを低減するため、コスト関数にカバレッジ指向性を組み込む。
• 非凸で関数形式のコスト関数を効果的に最適化するため、確率的原双対勾配（SPDG）アルゴリズムを開発する。
• 最適化問題を原双対領域に変換することで、コスト関数の地形における高い障壁を低減する。
• 大規模データセットへのスケーラブルな学習を実現するため、SPDGアルゴリズムを用いたミニバッチ確率的最適化戦略を採用する。
• n-gram言語モデル（2-gram, 3-gram）を逐次的事前知識として用い、ラベルなしテキストデータから別個に事前学習する。

実験結果

リサーチクエスチョン

• RQ1 強い生成モデルに依存せずに、教師なし系列分類において自明な解を回避できるコスト関数を設計できるか？
• RQ2 逐次出力統計（例：言語モデル）を、ラベルなしデータを用いて系列分類器を効果的に学習するためにどのように活用できるか？
• RQ3 SPDG という新規な最適化手法は、教師なし学習における非凸で関数形式のコスト関数の課題を克服できるか？
• RQ4 unigram 事前知識と比較して、より高次のn-gram（2-gram, 3-gram）を用いることで、性能がどの程度向上するか？
• RQ5 誤差率の観点から、教師あり学習にどれほど近づけるか？

主な発見

• OCRデータセットでは、提案手法のテスト誤差率は 9.59% であったのに対し、完全に教師あり学習では 4.63% であり、誤差率は約2倍であった。
• 綴り訂正データセットでは、提案手法のテスト誤差は 1.94% であったのに対し、教師あり学習では 0.00% であり、再び誤差率は約2倍であった。
• ハイパーパramータチューニングを経ても、[7]で報告された従来の最先端手法（OCRで83.37%の誤差）を著しく上回った。
• 3-gram言語モデルを用いた場合、4つのテストデータソースのうち3つで2-gramモデルよりも低い誤差率を達成し、より豊かな逐次的事前知識が性能向上に寄与することを示した。
• 言語モデルの品質にかかわらず、性能は安定しており、ドメイン内とドメイン外のLMデータを用いた場合でも同等の性能（例：OCRで9.59% 対 10.17%）を示した。
• SPDGアルゴリズムは、複雑なコスト関数を効果的に最適化し、従来の手法が失敗した状況でも意味のある解への収束を実現した。