[論文レビュー] Developing a comprehensive framework for multimodal feature extraction

Quinten McNamara, Alejandro de la Vega+1 more|arXiv (Cornell University)|Feb 20, 2017

Topic Modeling参考文献 18被引用数 7

ひとこと要約

この論文では、一貫性のある拡張可能なAPIを用いて、動画、音声、画像、テキストのマルチモーダル特徴抽出を標準化するオープンソースのPythonフレームワーク「pliers」を紹介する。音声認識、顔認識、感情分析などの多様な特徴抽出ツールを統合する1つのグラフベースのパイプラインにすることで、開発時間を著しく短縮し、コードの保守性を向上させる。機能的MRI研究において、数千の刺激に対して仮説検証を高速化した実証例が示された。

ABSTRACT

Feature extraction is a critical component of many applied data science workflows. In recent years, rapid advances in artificial intelligence and machine learning have led to an explosion of feature extraction tools and services that allow data scientists to cheaply and effectively annotate their data along a vast array of dimensions---ranging from detecting faces in images to analyzing the sentiment expressed in coherent text. Unfortunately, the proliferation of powerful feature extraction services has been mirrored by a corresponding expansion in the number of distinct interfaces to feature extraction services. In a world where nearly every new service has its own API, documentation, and/or client library, data scientists who need to combine diverse features obtained from multiple sources are often forced to write and maintain ever more elaborate feature extraction pipelines. To address this challenge, we introduce a new open-source framework for comprehensive multimodal feature extraction. Pliers is an open-source Python package that supports standardized annotation of diverse data types (video, images, audio, and text), and is expressly with both ease-of-use and extensibility in mind. Users can apply a wide range of pre-existing feature extraction tools to their data in just a few lines of Python code, and can also easily add their own custom extractors by writing modular classes. A graph-based API enables rapid development of complex feature extraction pipelines that output results in a single, standardized format. We describe the package's architecture, detail its major advantages over previous feature extraction toolboxes, and use a sample application to a large functional MRI dataset to illustrate how pliers can significantly reduce the time and effort required to construct sophisticated feature extraction workflows while increasing code clarity and maintainability.

研究の動機と目的

• 特徴抽出のAPIフラグメンテーションという課題に対処する。これは、データサイエンティストが多数のサードパーティツールに対して一貫性のないインターフェースに直面する問題である。
• 複数のモダリティやサービスからのデータを統合する特徴抽出パイプラインを構築・保守する際の時間と複雑さを低減する。
• 多様な特徴抽出ツールへの標準化された、拡張可能なインターフェースを提供することで、データサイエンスワークフローにおけるコードの明確さ、保守性、再利用性を向上させる。
• 自然主義的刺激からの自動的特徴抽出を可能にすることで、神経画像法やその他の分野における迅速で再現可能な仮説検証を実現する。
• モジュラーでユーザー定義可能な抽出器と、パイプライン内での動的なデータ型変換（例：音声からテキストへの変換）をサポートすることで、拡張性を高める。

提案手法

• pliersは、各ノードが特徴抽出器を表し、エッジがモダリティ間のデータフローを表すグラフベースのAPIを用いて、複雑な特徴抽出パイプラインを構成する。
• フレームワークは、Google Cloud Vision、IBM Watson、Clarifaiなどのクラウドベースのサービスを含む、数百の外部ツールへの一貫したインターフェースを提供することで、下位のAPIの差異を抽象化する。
• 組み込みのトランスフォーマーを介して、動画クリップ内の音声を文字起こしするなど、動的なデータ型変換（例：音声からテキストへの変換）をサポートする。
• ユーザーは最小限のコード（例：数行のPython）で既存の抽出器を適用でき、カスタム機能を追加するために基本クラスを継承するだけでシステムを拡張できる。
• 特に高コストなAPIや頻繁に呼び出されるAPIに対しては、遅延評価とキャッシュを活用してパフォーマンス最適化を実現する。
• 外部APIの進化に伴う後方互換性を監視・保証するために、継続的インテグレーション（Travis-CI）を活用している。

実験結果

リサーチクエスチョン

• RQ1 標準化されたフレームワークは、多数のサードパーティ特徴抽出APIを統合する際の複雑さと保守負荷をどの程度軽減できるか？
• RQ2 統一的でマルチモーダルな特徴抽出パイプラインは、データサイエンスワークフローにおけるコードの明確さと再利用性をどの程度向上できるか？
• RQ3 自動的かつ高スルーレートの特徴抽出は、自然主義的刺激を用いた大規模な神経画像法研究における仮説検証をどの程度加速できるか？
• RQ4 一貫性のあるパイプライン内で、動的なデータ型変換（例：音声からテキストへの変換）をどの程度効果的に処理できるか？
• RQ5 高レベルの特徴抽出フレームワークにおいて、抽象化とパフォーマンス、細かく制御可能な操作との間にはどのようなトレードオフが生じるか？

主な発見

• pliersは、機能的MRIデータセットに含まれる1,000以上の映画クリップから100種類以上の多様な特徴を迅速に抽出でき、パイプライン開発時間の顕著な短縮が達成された。
• Google Cloud Vision、IBM Watson、Clarifaiを含む20以上の外部ツールが、一貫性があり標準化された出力形式で統合された。
• 神経画像法の事例研究において、pliersは特定の意味的特徴（例：「屋外」や「会話」）に関連する脳の活性化パターンの同定を支援し、既知の神経解剖学的関連性を再現した。
• pliersの使用により、研究者は刺激の内容と神経反応に関する新しい仮説を、スケーラブルで自動的かつ再現可能なかたちで検証できるようになった。
• 抽象化によるパフォーマンスの低下は一部認められたが、自動テストと高コストな処理のキャッシュにより、高い信頼性を維持した。
• システムは高い拡張性を示し、ユーザーは単純なクラスの継承と設定により、新しい抽出器を追加可能であった。