[論文レビュー] Policy by Example: An Approach for Security Policy Specification

Adwait Nadkarni, William Enck+2 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Malware Detection Techniques参考文献 41被引用数 4

ひとこと要約

本稿では、代表的な許可または拒否行動の例を提示することで、ユーザー固有のセキュリティポリシーを指定できる新しいアプローチであるPolicy by Example (PyBE)を紹介する。k近傍法分類器に新規の重み付き距離尺度と、エラー訂正のためのアクティブラーニングを組み合わせることで、専門家を対象とした妥当性試験において76%の予測精度を達成し、単純な手法を著しく上回った。

ABSTRACT

Policy specification for personal user data is a hard problem, as it depends on many factors that cannot be predetermined by system developers. Simultaneously, systems are increasingly relying on users to make security decisions. In this paper, we propose the approach of Policy by Example (PyBE) for specifying user-specific security policies. PyBE brings the benefits of the successful approach of programming by example (PBE) for program synthesis to the policy specification domain. In PyBE, users provide policy examples that specify if actions should be allowed or denied in certain scenarios. PyBE then predicts policy decisions for new scenarios. A key aspect of PyBE is its use of active learning to enable users to correct potential errors in their policy specification. To evaluate PyBE's effectiveness, we perform a feasibility study with expert users. Our study demonstrates that PyBE correctly predicts policies with 76% accuracy across all users, a significant improvement over naive approaches. Finally, we investigate the causes of inaccurate predictions to motivate directions for future research in this promising new domain.

研究の動機と目的

• ノート、セルフィ、ホワイトボードのスナップショットなど、抽象的で主観的なデータに対するユーザー固有のセキュリティポリシーを指定する課題に対処すること。
• 完全なポリシーの列挙ではなく、例による指定を可能にすることで、ユーザーの負担を軽減すること。
• エラー検出および訂正のためのアクティブラーニングを組み込むことで、ポリシー予測の正確性と使いやすさを向上させること。
• 実世界のユーザー環境における機械学習を用いたポリシー指定の妥当性と限界を調査すること。

提案手法

• ユーザーは、データ利用のシナリオ（入力）とそれに対応するポリシー意思決定（出力）から成るポリシーの例を提供する。たとえば、特定のデータタイプに対して「許可」または「拒否」を指定する。
• システムは、新しいシナリオとユーザーが提供した例との類似度を計算するために、新しいブールベースの距離尺度を用いたk近傍法（kNN）分類器を用いる。
• 異なるポリシーアトリビュートの相対的な重要性を反映するために、重み付き距離尺度が導入され、ユーザーがタグや条件に重みを割り当てられる。
• エラー訂正のためのアクティブラーニングが採用され、ユーザーが提供した例における一貫性のない点を検出し、システムがユーザーに訂正を促すことで、ポリシーの品質が向上する。
• 非パrametric学習をサポートしており、データ分布や固定パラメータセットに関する仮定を一切行わない。
• 訓練中に見られなかったランダムに生成されたシナリオに対して予測を評価し、手動およびインタラクティブレビューを用いて正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーは、少数の例のみを用いて、抽象的でユーザー固有のデータに対してセキュリティポリシーを効果的に指定できるか？
• RQ2 PyBEアプローチを用いた場合のポリシー予測の正確性は、単純なベースラインと比べてどの程度高いか？
• RQ3 アクティブラーニングは、ユーザーが提供したポリシー例におけるエラーの検出および訂正をどの程度効果的に改善するか？
• RQ4 PyBEにおける予測の不正確さの主な要因は何か。今後の設計においては、それらをどのように緩和できるか？

主な発見

• 妥当性試験において、PyBEはすべての専門家ユーザーで76%の予測正確性を達成し、単純な手法を著しく上回った。
• アクティブラーニングのモジュールは、エラーの同定および訂正において、手動レビューに比べて5倍の効果を示した。
• 誤った予測の主な原因は、曖昧または一貫性のないタグ付けであり、特にユーザーがタグに重複する意味を複数適用した場合に顕著だった。
• ユーザーは、特に「作成時」と「由来元」のような複雑または矛盾する解釈を持つタグを含む、ランダムに生成されたシナリオについての推論に苦労した。
• 研究から、タグの意味論が使いやすさに大きな影響を与え、明確で一貫性のあるラベル付けルールがユーザーに有益であることが明らかになった。