[논문 리뷰] Policy by Example: An Approach for Security Policy Specification

Adwait Nadkarni, William Enck외 2명|arXiv (Cornell University)|2017. 07. 13.

Advanced Malware Detection Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 사용자가 주어진 상황에서 허용되거나 금지되는 동작의 대표 예시를 제공함으로써 사용자 고유의 보안 정책을 지정할 수 있도록 하는 새로운 접근법인 Policy by Example (PyBE)를 소개한다. k-최근접 이웃 분류기와 새로운 가중 거리 측도, 오류 수정을 위한 액티브 러닝을 사용하여, 전문가 대상의 타당성 연구에서 76%의 예측 정확도를 달성하였으며, 단순한 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Policy specification for personal user data is a hard problem, as it depends on many factors that cannot be predetermined by system developers. Simultaneously, systems are increasingly relying on users to make security decisions. In this paper, we propose the approach of Policy by Example (PyBE) for specifying user-specific security policies. PyBE brings the benefits of the successful approach of programming by example (PBE) for program synthesis to the policy specification domain. In PyBE, users provide policy examples that specify if actions should be allowed or denied in certain scenarios. PyBE then predicts policy decisions for new scenarios. A key aspect of PyBE is its use of active learning to enable users to correct potential errors in their policy specification. To evaluate PyBE's effectiveness, we perform a feasibility study with expert users. Our study demonstrates that PyBE correctly predicts policies with 76% accuracy across all users, a significant improvement over naive approaches. Finally, we investigate the causes of inaccurate predictions to motivate directions for future research in this promising new domain.

연구 동기 및 목표

• 노트, 스냅샷, 화이트보드 스냅샷과 같이 추상적이고 주관적인 데이터에 대한 사용자 고유의 보안 정책을 설정하는 데 도전하는 것.
• 전체 정책 목록을 나열하는 대신 예시를 통한 정책 설정을 통해 사용자의 부담을 줄이는 것.
• 오류 탐지 및 수정을 위한 액티브 러닝을 통합하여 정책 예측 정확도와 사용성 향상.
• 실제 사용자 환경에서 기계 학습을 활용한 정책 설정의 타당성과 한계를 탐색하는 것.

제안 방법

• 사용자는 데이터 사용 상황(입력)과 해당 상황에 대한 정책 결정(출력, 예: 특정 데이터 유형에 대해 '허용' 또는 '거부')로 구성된 정책 예시를 제공한다.
• 시스템은 새로운 상황과 사용자가 제공한 예시 간의 유사도를 계산하기 위해, 새로운 부울 기반 거리 측도를 사용하는 k-최근접 이웃(kNN) 분류기를 사용한다.
• 다양한 정책 속성의 상대적 중요도를 반영하기 위해 가중 거리 측도가 도입되어, 사용자가 태그나 조건에 가중치를 부여할 수 있도록 한다.
• 액티브 러닝을 통해 사용자가 제공한 예시의 모순을 탐지한다; 시스템은 잠재적으로 잘못된 결정을 수정하도록 사용자에게 프롬프트를 제공하여 정책 품질을 향상시킨다.
• 비모수적 학습을 지원하여 데이터 분포나 고정된 파rameter 세트에 대한 가정을 하지 않는다.
• 훈련 중에 볼 수 없었던 무작위로 생성된 상황에 대해 예측을 평가하며, 수동 및 상호작용 검토를 통해 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 사용자가 몇 개의 예시만으로 추상적이고 사용자 고유의 데이터에 대해 보안 정책을 효과적으로 지정할 수 있는가?
• RQ2 PyBE 접근법을 사용한 정책 예측 정확도는 단순한 기준 대비 얼마나 높은가?
• RQ3 액티브 러닝은 사용자가 제공한 정책 예시의 오류 탐지 및 수정에 얼마나 효과적인가?
• RQ4 PyBE에서 예측 정확도 저하의 원인은 무엇이며, 향후 설계에서 이를 어떻게 완화할 수 있는가?

주요 결과

• PyBE는 타당성 연구에서 모든 전문가 사용자 대상으로 76%의 예측 정확도를 달성하였으며, 단순한 방법들보다 뚜렷이 뛰어나다.
• 액티브 러닝 구성 요소는 오류를 탐지하고 수정하는 데 있어 수동 검토보다 다섯 배 더 효과적인 것으로 밝혀졌다.
• 틀린 예측의 주요 원인은 모호하거나 일관되지 않은 태그로, 특히 사용자가 태그에 여러 개의 겹치는 의미를 적용했을 경우에 주로 발생했다.
• 사용자는 특히 '생성된 시점'과 '유래된 출처'처럼 복잡하거나 상충되는 의미를 가진 태그를 가진 상황에 대해 무작위로 생성된 상황을 이해하는 데 어려움을 겪었다.
• 연구 결과, 태그의 의미 체계가 사용성에 큰 영향을 미치며, 사용자는 명확하고 일관된 레이블링 규칙에서 큰 이점을 얻는다.