[論文レビュー] Privacy Policy Question Answering Assistant: A Query-Guided Extractive Summarization Approach

Moniba Keymanesh, Micha Elsner+1 more|arXiv (Cornell University)|Sep 29, 2021

Topic Modeling参考文献 37被引用数 4

ひとこと要約

本稿では、ユーザーの質問とプライバシーポリシーの法的表現との間の意味的・スタイル的不一致に対処するため、質問の言い換えとファインチューニングされたトランスフォーマーモデルを用いて、ユーザーの質問と法律的ポリシー言語を一致させる、クエリガイドド型の抽出的要約パイプラインを提案する。このシステムは、言い換えられたクエリにおける関連性と情報量スコアの組み合わせにより、PrivacyQAデータセットから関連する回答の89％を取得する。

ABSTRACT

Existing work on making privacy policies accessible has explored new presentation forms such as color-coding based on the risk factors or summarization to assist users with conscious agreement. To facilitate a more personalized interaction with the policies, in this work, we propose an automated privacy policy question answering assistant that extracts a summary in response to the input user query. This is a challenging task because users articulate their privacy-related questions in a very different language than the legal language of the policy, making it difficult for the system to understand their inquiry. Moreover, existing annotated data in this domain are limited. We address these problems by paraphrasing to bring the style and language of the user's question closer to the language of privacy policies. Our content scoring module uses the existing in-domain data to find relevant information in the policy and incorporates it in a summary. Our pipeline is able to find an answer for 89% of the user queries in the privacyQA dataset.

研究の動機と目的

• ユーザーの質問とプライバシーポリシーの法的表現との間の意味的・スタイル的不一致に対処すること。
• 限られたドメイン特化されたアノテート済みデータを活用することで、低リソース環境における回答の検索を改善すること。
• ユーザーの質問に特化したパーソナライズド要約を通じて、プライバシーポリシーの理解を向上させること。
• クエリ拡張とコンテンツスコアリングの有効性が、プライバシーポリシーQAにおける回答可能性をどのように向上させるかを評価すること。

提案手法

• パイプラインは、語彙置換とバックトランスレーションを用いて、ユーザーの質問の言い換え版を生成し、それらの言語をプライバシーポリシーのテキストと一致させる。
• ファインチューニングされたトランスフォーマーモデルが、拡張されたクエリに対して各ポリシーセグメントの関連性と情報量の2つのスコアを計算する。
• これらのスコアが組み合わせられ、要約のためのセグメント順位付けに用いられる回答可能性スコアとしての統合スコアが得られる。
• システムは、各ユーザーの質問に対して上位順位のセグメントを検索し、要約として提示する。
• 検索指標（F@k、MRR、精度）を用いて、PrivacyQAデータセット上でアプローチを評価する。
• アブレーションスタディにより、クエリ拡張と回答検出モジュールの貢献度が分離される。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の言語差があるにもかかわらず、質問の言い換えがプライバシーポリシーQAにおける検索パフォーマンスを向上させられるか。
• RQ2 関連性と情報量を組み合わせたハイブリッドスコアリングアプローチが、回答関連セグメントを特定するのにどの程度有効か。
• RQ3 ドメイン特化したファインチューニングを用いることで、ドメイン外手法と比較してパフォーマンスがどの程度向上するか。
• RQ4 クエリ拡張と回答検出が、検索のリ콜と精度に及ぼす影響は何か。

主な発見

• PrivacyQAデータセットにおいて、上位10件の結果を考慮した場合、システムは89％のクエリに対して関連する回答を正しく検索できた。
• MRRは0.59を記録しており、平均して最初の関連するセグメントが上位2位以内にランクインしていることを示している。
• F@5は80.6％であり、80.6％のクエリで少なくとも1つの関連するスニペットが上位5件の結果内に含まれていることを意味する。
• クエリ拡張モジュールはパフォーマンスをわずかに向上させ、ベースライン（拡張なし）と比較してF@5が0.4％上昇、F@10が1.1％上昇した。
• 回答検出モジュールを削除すると、F@5とF@10は低下するが、精度とMRRは向上し、リコールと順位付け品質のトレードオフが示された。
• ドメインにインspiredなルールベースの言い換えが、このタスクにおけるクエリの一致を図る上で、ドメイン外のNMTベースの手法を上回った。