[論文レビュー] Learning in High-Dimensional Multimedia Data: The State of the Art

Lianli Gao, Jingkuan Song+4 more|arXiv (Cornell University)|Jul 10, 2017

Video Surveillance and Tracking Methods参考文献 63被引用数 9

ひとこと要約

本サーベイは、次元削減（特徴変換、特徴選択、特徴符号化）およびオンライン学習や並列計算などの効率的学習アルゴリズムを含め、高次元マルチメディアデータ向けの機械学習手法について包括的な概要を提供する。次元の呪いなどの主な課題を特定し、実世界のマルチメディア応用に向けたスケーラブルな解決策を提案する。

ABSTRACT

During the last decade, the deluge of multimedia data has impacted a wide range of research areas, including multimedia retrieval, 3D tracking, database management, data mining, machine learning, social media analysis, medical imaging, and so on. Machine learning is largely involved in multimedia applications of building models for classification and regression tasks etc., and the learning principle consists in designing the models based on the information contained in the multimedia dataset. While many paradigms exist and are widely used in the context of machine learning, most of them suffer from the `curse of dimensionality', which means that some strange phenomena appears when data are represented in a high-dimensional space. Given the high dimensionality and the high complexity of multimedia data, it is important to investigate new machine learning algorithms to facilitate multimedia data analysis. To deal with the impact of high dimensionality, an intuitive way is to reduce the dimensionality. On the other hand, some researchers devoted themselves to designing some effective learning schemes for high-dimensional data. In this survey, we cover feature transformation, feature selection and feature encoding, three approaches fighting the consequences of the curse of dimensionality. Next, we briefly introduce some recent progress of effective learning algorithms. Finally, promising future trends on multimedia learning are envisaged.

研究の動機と目的

• 次元の呪いや計算的に不適切な問題といった、高次元マルチメディアデータが引き起こす課題に対処する。
• 特徴変換、選択、符号化などの、特徴抽出のための既存および新興技術を含む、マルチメディアデータにおける次元削減技術をサーベイする。
• 特に、事前の次元削減なしに高次元特徴を直接処理できる、オンライン学習および一次最適化手法などの効率的学習方式を検討する。
• 並列計算およびビッグデータフレームワーク（例：Hadoop、S4）が、マルチメディア学習システムのスケーラビリティをどのように高めるかを検証する。
• 進化するマルチメディアデータワークロードに適応する、スケーラブルで効率的かつ適応的な学習のための今後の研究方向性を特定する。

提案手法

• 次元削減を3つの主要なアプローチに分類する：特徴変換（例：PCAに類する手法）、特徴選択（例：フィルタ法、ワラッパー法、埋め込み法）、特徴符号化（例：ハッシュ化、ディープオートエンコーダ）。
• フォローザレギュライズドリーダ（FTRL）およびミラー降下の原則に基づくオンライン学習フレームワークをレビューし、低レジットで逐次的なモデル更新を可能にする。
• オンライン勾配降下および適応的部分勾配法（例：Duchiら）を導入し、データの幾何構造に応じて動的に調整することで収束性を向上させる。
• Hadoop や Apache S4 などのビッグデータインfraストラクチャと機械学習を統合し、マルチメディアストリームの分散型リアルタイム処理を分析する。
• 特徴抽出が次に続く、一般化された学習フレームワークを提案する。ここでは、次元削減または高次元特徴に対する直接学習が選択可能である。
• FTRLにおけるプロキシタル項の使用を強調し、高次元設定下での学習の安定性と性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 高次元マルチメディア特徴は、機械学習タスクにおいてどのように次元の呪いを悪化させるか？
• RQ2 意味的情報を保持する観点から、特徴変換、選択、符号化のうち、どの次元削減戦略が最も効果的か？
• RQ3 リアルタイムで高次元マルチメディアデータを処理する際、オンライン学習アルゴリズムがどのように低レジットとスケーラビリティを達成できるか？
• RQ4 Hadoop や S4 などの分散コンピューティングフレームワークは、大規模マルチメディアデータにおけるスケーラブルな学習をどのように実現するか？
• RQ5 ディープラーニング、オンライン最適化、並列コンピューティングの統合から、今後のマルチメディア学習で予想されるトレンドは何か？

主な発見

• 特徴変換、選択、符号化などの次元削減技術は、次元の呪いを軽減し、モデルの効率性と正確性を向上させるために不可欠である。
• 特に、適応的プロキシタル項を備えたFTRLベースのアルゴリズムは、低レジットを達成し、ストリーミング処理に適した高次元マルチメディアデータに最適である。
• 適応的部分勾配法は、データの幾何構造に応じて動的に調整され、高次元設定下での収束性とパフォーマンスを向上させる。
• Hadoop や S4 などの並列コンピューティングフレームワークは、大規模なマルチメディアデータストリームのスケーラブルかつリアルタイム処理を可能にする。
• オンライン学習と分散システムの統合は、現実世界の応用において増加するマルチメディアデータのボリュームと複雑さに対処する上で不可欠である。
• 今後の研究は、広範な事前処理なしに高次元マルチメディア特徴を直接処理できる、スケーラブルで適応的かつ効率的な学習アルゴリズムに注力すべきである。