[論文レビュー] OpenHowNet: An Open Sememe-based Lexical Knowledge Base

Fanchao Qi, Chenghao Yang+4 more|arXiv (Cornell University)|Jan 28, 2019

Natural Language Processing Techniques参考文献 15被引用数 25

ひとこと要約

OpenHowNet は、HowNet を基盤として構築されたオープンでセメムベースの語彙的知識ベースであり、10万語以上の語の意味がセメムでアノテートされたクリーニングされたデータセットを提供するとともに、ウェブインターフェースとAPIを備え、セメムツリーの可視化や意味的類似度の計算が可能である。主な貢献は、セメムベースの自然言語処理研究を支援するオープンで拡張可能かつアクセス可能なインfra構造の提供である。

ABSTRACT

In this paper, we present an open sememe-based lexical knowledge base OpenHowNet. Based on well-known HowNet, OpenHowNet comprises three components: core data which is composed of more than 100 thousand senses annotated with sememes, OpenHowNet Web which gives a brief introduction to OpenHowNet as well as provides online exhibition of OpenHowNet information, and OpenHowNet API which includes several useful APIs such as accessing OpenHowNet core data and drawing sememe tree structures of senses. In the main text, we first give some backgrounds including definition of sememe and details of HowNet. And then we introduce some previous HowNet and sememe-based research works. Last but not least, we detail the constituents of OpenHowNet and their basic features and functionalities. Additionally, we briefly make a summary and list some future works.

研究の動機と目的

• HowNet を基盤として、セメムベースの自然言語処理研究を支援するオープンでアクセス可能かつ拡張可能な語彙的知識ベースの構築を目的とする。
• 閉鎖的またはアクセスが難しい言語資源の限界を解消するため、HowNet のコアデータをオープンに公開することを目的とする。
• 語の意味やセメムアノテーションデータの探索・照会・統合を容易にするため、ウェブインターフェースやAPIなどのツールを提供することを目的とする。
• 将来のセメム予測、多言語間知識移転、意味表現学習に関する研究を支援することを目的とする。
• 機械学習とインタラクティブな人間によるフィードバック（人間を含むループ）の手法を統合することで、アノテーションの一貫性と規模を向上させることを目的とする。

提案手法

• HowNet のコアデータ（10万語以上の語の意味がセメムでアノテートされたもの）をオープンに、ダウンロード可能な形式で公開することで、HowNet を拡張する。
• OpenHowNet Web を開発し、語の意味の閲覧、セメムツリーの表示、意味的に類似した語の検索が可能なパブリックウェブインターフェースを提供する。
• OpenHowNet API を構築し、コアデータへの機械アクセスを可能にし、語の意味やセメムの検索、セメムツリーの可視化、意味的類似度の計算をサポートする。
• セメムベースの語の類似度アルゴリズム（Liu & Li, 2002）をウェブおよびAPIに統合し、意味的類似度の順序付けを実現する。
• SSTモデル（Niu et al., 2017）を用いて学習された、事前学習済みの語、意味、セメム埋め込みを、下流の自然言語処理タスクに利用可能に提供する。
• 将来の機械学習とインタラクティブアノテーションの統合により、多言語への拡張と自動セメム予測を支援する。

実験結果

リサーチクエスチョン

• RQ1 大規模でセメムアノテート済みの語彙的知識ベースをどのようにオープンにアクセス可能にすることができるか？
• RQ2 研究者がセメムアノテート済みの語の意味を探索・活用するために最も効果的な機能は何か？
• RQ3 オープンでプログラム可能なインターフェース（API）とウェブポータルが、語彙的意味的リソースへのアクセス性と使いやすさを著しく向上させられるか？
• RQ4 機械学習とインタラクティブアノテーションをどのように組み合わせることで、セメムアノテーションのスケーリングと一貫性を向上させられるか？
• RQ5 既存のセメム知識を他の言語に移転することで、多言語的意味的リソースを構築する可能性は何か？

主な発見

• OpenHowNet は、最新の HowNet バージョンに基づき、229,000語以上の語の意味、127,266 種類の中国語語彙、104,025 種類の英語語彙、2,187 種類のセメムにアクセス可能である。
• OpenHowNet Web インターフェースを用いることで、ユーザーは Liu と Li (2002) の類似度手法を用いて、語の意味の定義、セメムツリー、品詞タグ、感情分析、意味的に類似した語の意味を探索できる。
• OpenHowNet API は、セメムデータへのプログラムによるアクセスをサポートしており、語の意味やセメムの検索、セメムツリーのレンダリング、意味的類似度の計算が可能である。
• SSTモデル（Niu et al., 2017）を用いて学習された、事前学習済みの語、意味、セメム埋め込みが、自然言語処理アプリケーションで利用可能に提供されている。
• プロジェクトでは、簡単な登録手続きを経て、全データセットと埋め込みの無料ダウンロードが可能であり、更新情報はメールで通知される。
• 今後の作業には、機械学習を活用したアノテーションの一貫性向上、自動予測とインタラクティブアノテーションの統合、多言語環境への拡張が含まれる。