[論文レビュー] openXBOW - Introducing the Passau Open-Source Crossmodal Bag-of-Words Toolkit

Maximilian Schmitt, Björn W. Schuller|arXiv (Cornell University)|May 22, 2016

Text and Document Classification Technologies参考文献 21被引用数 28

ひとこと要約

openXBOW は、テキスト、音声、視覚特徴を含むマルチモーダルデータからクロスモーダル bag-of-words (BoW) 表現を生成するためのオープンソース Java ツールキットです。ヒストグラムベースの特徴統合と TF-IDF 重み付けを実装し、スピーチベースの感情認識および Twitter セマンティック分析の両タスクで最先端の性能を達成し、両タスクで先行手法を上回りました。

ABSTRACT

We introduce openXBOW, an open-source toolkit for the generation of bag-of-words (BoW) representations from multimodal input. In the BoW principle, word histograms were first used as features in document classification, but the idea was and can easily be adapted to, e.g., acoustic or visual low-level descriptors, introducing a prior step of vector quantisation. The openXBOW toolkit supports arbitrary numeric input features and text input and concatenates computed subbags to a final bag. It provides a variety of extensions and options. To our knowledge, openXBOW is the first publicly available toolkit for the generation of crossmodal bags-of-words. The capabilities of the tool are exemplified in two sample scenarios: time-continuous speech-based emotion recognition and sentiment analysis in tweets where improved results over other feature representation forms were observed.

研究の動機と目的

• テキスト、音声、視覚特徴などの異種モダリティからクロスモーダル bag-of-words 表現を生成するための公開可能なツールの不足に対処すること。
• ヒストグラムベースのベクトル量子化と TF-IDF 重み付けを通じて、複数のモダリティを統合して BoW 表現を簡単に生成できるようにすること。
• さまざまな特徴タイプ、量子化手法、前処理オプションをサポートする柔軟でオープンソースのフレームワークを提供すること。
• クロスモーダル BoW 表現の実世界応用における有効性を実証すること、特に感情認識とセンチメント分類の分野で。
• 将来の拡張の基盤を築くこと、例えばソフトクラスタリングや時系列モデリング技術の統合を含む。

提案手法

• ツールキットは ARFF、CSV、LIBSVM 形式の入力データを処理し、MFCC や LLD などの数値特徴とテキスト入力を両方サポートします。
• 表現品質を向上させるために、音声活動検出や特徴正規化などのオプション処理ステップを適用します。
• コードブックは k-means やランダムサンプリングによって生成され、ハードまたはソフト量子化の選択が可能（将来の拡張として EM クラスタリングを想定）。
• 項目の頻度と TF-IDF 重み付けを適用して、まれな語や過剰に頻出する語の影響を低減し、識別力を向上させます。
• テキスト処理では、n-gram（最大2-gramまで）と項目の頻度フィルタリング（minTermFreq および maxTermFreq を介して）をサポートし、辞書の精錬を図ります。
• 最終的な特徴ベクトルは、モダリティ固有のヒストグラム表現を連結することで生成され、SVM などの標準分類器によるマルチモーダル分類が可能になります。

実験結果

リサーチクエスチョン

• RQ1 テキスト、音声、視覚特徴などの多様な入力モダリティから、統合的でオープンソースのツールキットがクロスモーダル bag-of-words 表現を効果的に生成できるか？
• RQ2 openXBOW が生成する BoW 特徴は、マルチモーダル感情認識およびセンチメント分析タスクにおいて、既存の特徴表現と比較してどの程度優れているか？
• RQ3 正規化や項目の頻度フィルタリングなどの前処理ステップが、クロスモーダル BoW フレームワークにおける分類精度をどの程度向上させるか？
• RQ4 openXBOW は、単一の統合パイプライン内でモノモーダルおよびマルチモーダル応用の両方に対して、柔軟で拡張可能な特徴工学をサポートできるか？
• RQ5 openXBOW は、将来的にソフトクラスタリングや時系列モデリングといった高度な技術をクロスモーダル表現学習に統合する可能性を秘めているか？

主な発見

• 時間連続なスピーチベースの感情認識において、openXBOW はベースラインの特徴表現を上回る性能を示し、マルチモーダル感情認識における有効性を実証しました。
• Twitter セントiment分析において、線形SVMを用いて重み付き正解率77.28%、重みなし正解率77.29%を達成し、報告された最先端の正解率75%を上回りました。
• 最適な辞書サイズは1,875語であり、不要な語をフィルタリングするために最小語頻度500および最大語頻度100,000が使用されました。
• 驚くべきことに、2-gram の使用は性能向上に寄与せず、単語の単語（unigram）表現のみがセンチメント分類タスクで最良の結果をもたらしました。
• ツールキットはオンラインおよびオフライン処理を両方サポートしており、正規化および重み付けパラメータはコードブックに保存され、テストデータへの一貫した適用が可能になります。
• 著者らは、openXBOW がクロスモーダル bag-of-words 表現用に公開可能な最初のツールキットであると確認しており、マルチモーダル機械学習のツールキット分野における重要な空白を埋めています。