[論文レビュー] Analyzing Large Collections of Electronic Text Using OLAP

Steven Keith, Owen Kaser+1 more|ArXiv.org|May 27, 2006

Advanced Text Analysis Techniques参考文献 17被引用数 26

ひとこと要約

本稿では、文学的データを多次元データキューブ（「ワード・ウォールド」）に整理することで、大規模な電子テキストコレクションの分析をユーザー主導で行うOLAPシステムを提案する。このシステムにより、著者、時代、語形など階層的な次元におけるスタイル的特徴、語彙的特徴、句語的特徴について、高速かつインタラクティブなクエリが可能になる。主な貢献は、OLAPが文学的分析を加速させることを実証した点であり、従来数時間かかっていたクエリが秒単位に短縮された。また、ユーザーが複雑なクエリ言語（SQL や MDX など）を習得する必要なく、柔軟かつ探索的かつインタラクティブな研究を可能にした。

ABSTRACT

Computer-assisted reading and analysis of text has various applications in the humanities and social sciences. The increasing size of many electronic text archives has the advantage of a more complete analysis but the disadvantage of taking longer to obtain results. On-Line Analytical Processing is a method used to store and quickly analyze multidimensional data. By storing text analysis information in an OLAP system, a user can obtain solutions to inquiries in a matter of seconds as opposed to minutes, hours, or even days. This analysis is user-driven allowing various users the freedom to pursue their own direction of research.

研究の動機と目的

• 大規模な電子テキストアーカイブを処理する際、従来のテキスト分析ツールが示す遅い応答時間を是正すること。
• SQL や MDX といったクエリ言語に精通していないユーザーでも、専門的な知識を要せず、ユーザー主導でインタラクティブに文学的データを探索できるようにすること。
• OLAPの多次元データモデリングと事前集計を活用し、スタイル的特徴、語彙的特徴、句語的特徴のクエリを高速化すること。
• 書籍、著者、時代、語形といった次元を介して、著作者特定、語の頻度、共起パターンといった柔軟な階層的分析を可能にすること。
• 事前集計されたデータキューブを通じて、多様な文学的分析クエリをサポートするスケーラブルかつ拡張可能なフレームワーク（「ワード・ウォールド」）を構築すること。

提案手法

• システムは、Project GutenbergからプレーンテキストおよびXMLデータを抽出するETLパイプラインを用いる。この段階で、免責条項や序文などの関係のないコンテンツが除外される。
• 変換段階では、語の頻度、標点符号の数、文の長さ、品詞タグといった重要な特徴が計算されるとともに、語形素（語幹）、上位概念（WordNetを介して）、ユーザー定義語彙リストといった階層的グルーピングも行われる。
• データは多次元データキューブ（OLAPキューブ）にロードされ、書籍、著者、出版時代、語形、語類といった次元が設定される。各次元は、ロールアップおよびドリルダウン操作をサポートする。
• システムは2つのコアキューブをサポートする：文のスタイルキューブ（1語あたりのコマーやストップワードの数といった文レベルの特徴を記録）と、短い句キューブ（4語の語群の出現を記録）。
• 書籍（章 → 書籍 → 著者 → 時代）および語（語幹 → 品詞 → 上位概念 → ユーザー定義リスト）の階層が定義され、複数の粒度で集計クエリが可能になる。
• 事前集計された要約データのおかげで、クエリ評価が高速かつほぼ定数時間で実行可能となり、ユーザーは結果を得るために数時間待つ必要がなくなる。

実験結果

リサーチクエスチョン

• RQ1 OLAP技術は、大規模な文学的テキスト分析に効果的に適用可能であり、高速かつインタラクティブなクエリを可能にするか？
• RQ2 OLAPにおける階層的データモデリングは、文学的コーパスにおけるスタイル的特徴および語彙的特徴の柔軟かつユーザー主導の探索をどのように支援するか？
• RQ3 従来のリレーショナルデータベースと比較して、事前集計された多次元データキューブは、複雑な文学的クエリの応答時間をどの程度短縮できるか？
• RQ4 OLAPベースのシステムは、著作者特定、句のマイニング、意味的類似性検出といった高度な文学的分析タスクをサポートできるか？
• RQ5 語の複数の階層（語形素、品詞、上位概念など）の統合は、文学的テキスト分析ツールの表現力と実用性をどの程度向上させるか？

主な発見

• 事前集計された多次元キューブを活用することで、OLAPベースの「ワード・ウォールド」は、大規模なコーパスであってもクエリ応答時間を数秒にまで短縮する。
• 著者、時代、語形といった次元を介した階層的ロールアップおよびドリルダウン操作により、ユーザー主導のインタラクティブな文学的データ探索が可能になる。
• 文のスタイルキューブにより、著者や時代ごとの平均文の長さや標点記号の使用頻度といった文構造的特徴の分析が効率的に行える。
• 短い句キューブにより、頻出または希少な4語の語群の発見が可能となり、ユーザー主導の句語的分析やトポス分析が可能になる。
• 語形素、品詞タギング、上位概念といった複数の語の階層の統合により、語彙的および意味的パターンに関するより豊かで柔軟なクエリが可能になる。
• 本フレームワークは、OLAPが人文学分野の研究に成功裏に適応可能であることを示しており、従来のテキスト分析ツールとは異なり、スケーラブルかつインタラクティブな代替手段を提供している。