[論文レビュー] WS4A: a Biomedical Question and Answering System based on public Web Services and Ontologies

Miguel J. Rodrigues, Miguel Falé+2 more|arXiv (Cornell University)|Sep 27, 2016

Biomedical Text Mining and Ontologies参考文献 13被引用数 4

ひとこと要約

WS4Aは、公衆のWebサービスおよびオントロジーを活用して、生物医学的質問から概念、文書、スニペット、RDF三元組、および答えを抽出する生物医学的質問・回答システムである。BioPortal、UniProt、PubChem、NCBI eutilsを統合することで、競争力のある性能を達成し、2つのサブタスクで2位を獲得した。これは、サービス利用型でオントロジーを豊富に含むQAシステムの実現可能性を示しているが、サービスの利用可能性やチューニング時間の課題が伴う。

ABSTRACT

This paper describes our system, dubbed WS4A (Web Services for All), that participated in the fourth edition of the BioASQ challenge (2016). We used WS4A to perform the Question and Answering (QA) task 4b, which consisted on the retrieval of relevant concepts, documents, snippets, RDF triples, exact answers and ideal answers for each given question. The novelty in our approach consists on the maximum exploitation of existing web services in each step of WS4A, such as the annotation of text, and the retrieval of metadata for each annotation. The information retrieved included concept identifiers, ontologies, ancestors, and most importantly, PubMed identifiers. The paper describes the WS4A pipeline and also presents the precision, recall and f-measure values obtained in task 4b. Our system achieved two second places in two subtasks on one of the five batches.

研究の動機と目的

• 既存の公衆のWebサービスおよびオントロジーを最大限に再利用する、スケーラブルで軽量な生物医学的質問・回答システムの開発。
• BioASQ 2016チャレンジタスク4bに応じ、関連する概念、文書、スニペット、RDF三元組、正確/理想的な答えの検索。
• サービス指向アーキテクチャの生物医学的QAにおける有効性の評価。特に、オントロジーによる意味的拡張の強調。
• 機械学習および意味的類似度が、要約の関連性スコア付けと答えの順序付けに与える影響の探求。
• 外部Webサービスに主に依存するシステムが、限られたチューニング時間であっても、競争力のある結果を達成できるかどうかの実証。

提案手法

• 生物医学的実体をオントロジーに関連付けるために、BioPortalおよびWhatizitのWebサービスを用いてクエリおよび要約のテキストアノテーション。
• MeSH、GO、UniProt、Jochem、DOの概念識別子に、アノテートされた用語をマッピングするための公衆Webサービスの利用。
• 生物的概念と関連文献を結びつけるために、PubChemおよびNCBI eutilsサービスを用いてPubMed IDを取得。
• 意味的類似度とサポートベクターマシンを用いて、要約の関連性を評価し、関連する文書かどうかを分類。
• ランク付けされた要約から、Linked Life DataのSPARQLエンドポイントを用いてRDF三元組を生成し、構造化された知識抽出を実施。
• すべてのモジュールの結果を統合するパイプラインを構築し、再利用性およびモularityに重点を置いた答えの生成。

実験結果

リサーチクエスチョン

• RQ1 公衆のWebサービスおよびオントロジーに完全に依存する生物医学的QAシステムが、競争力のある性能を達成できるか。
• RQ2 複数の異種のWebサービスを統合することは、生物医学分野におけるエンドツーエンドの質問・回答を支援するためにどの程度有効か。
• RQ3 意味的類似度および機械学習は、サービスベースのアーキテクチャにおいて、関連する文書およびスニペットの順序付けをどの程度向上できるか。
• RQ4 外部Webサービスが断続的に利用不能または遅延を示す場合、システムのパフォーマンスはどのように変化するか。
• RQ5 チューニング時間が制限されている場合、Webサービス駆動型QAシステムの実用的限界は何か。

主な発見

• WS4Aは、BioASQ 2016チャレンジの最初のバッチで、正確な答えおよび理想的な答えの2つのサブタスクで2位を獲得した。
• すべてのバッチにおける平均F-measureは低く、平均0.24にとどまり、検索フェーズにおける全体的なパフォーマンスが限定的であることを示している。
• ほとんどのバッチで精度および再現率が低かったが、エンドツーエンドの生物医学的QAにおいて公衆のWebサービスを活用する可能性が示された。
• 平均応答時間は1クエリあたり約90秒であり、遅延が生じる要因として、遅いまたは利用不能なWebサービスが原因であった。
• 外部Webサービスのランダムな利用不能性が、結果生成およびシステム安定性の面で顕著な課題を引き起こした。
• 遅い登録によるチューニング時間の不足が、前年との比較でパフォーマンスに顕著な悪影響を及えた。