[논문 리뷰] Beyond Free Riding: Quality of Indicators for Assessing Participation in Information Sharing for Threat Intelligence

Omar Alibrahim, Aziz Mohaisen외 3명|arXiv (Cornell University)|2017. 02. 02.

Information and Cyber Security참고 문헌 27인용 수 12

한 줄 요약

이 논문은 위협 지능 공유에서 참가자의 진정한 기여도를 평가하기 위해 다차원적 지표인 지표의 질(QoI)을 도입한다. 이는 단순한 수량 기반 측정 방식을 넘어서, 실제 악성 소프트웨어 스캔 데이터를 활용해 지표의 정확성, 관련성, 유용성, 고유성을 평가함으로써, 수량 지표가 간과하는 무료 승차(자유로운 기여) 행동을 효과적으로 식별함을 보여준다. 연구 결과, 높은 수량의 기여를 하는 참가자들이 실제로는 낮은 품질의 지표를 제공하는 경향이 있음을 확인하였다.

ABSTRACT

Threat intelligence sharing has become a growing concept, whereby entities can exchange patterns of threats with each other, in the form of indicators, to a community of trust for threat analysis and incident response. However, sharing threat-related information have posed various risks to an organization that pertains to its security, privacy, and competitiveness. Given the coinciding benefits and risks of threat information sharing, some entities have adopted an elusive behavior of "free-riding" so that they can acquire the benefits of sharing without contributing much to the community. So far, understanding the effectiveness of sharing has been viewed from the perspective of the amount of information exchanged as opposed to its quality. In this paper, we introduce the notion of quality of indicators (\qoi) for the assessment of the level of contribution by participants in information sharing for threat intelligence. We exemplify this notion through various metrics, including correctness, relevance, utility, and uniqueness of indicators. In order to realize the notion of \qoi, we conducted an empirical study and taken a benchmark approach to define quality metrics, then we obtained a reference dataset and utilized tools from the machine learning literature for quality assessment. We compared these results against a model that only considers the volume of information as a metric for contribution, and unveiled various interesting observations, including the ability to spot low quality contributions that are synonym to free riding in threat information sharing.

연구 동기 및 목표

• 위협 지능 공유 커뮤니티에서 품질 인식 기반 기여 평가의 부재를 해결한다.
• 수량 기반 지표가 탐지하지 못하는 무료 승차 행동을 식별하고 정량화한다.
• 공유된 위협 지표의 실제 가치를 측정하기 위한 강력하고 맥락 민감한 프레임워크를 개발한다.
• QoI를 위협 지능 생태계에서 참가자의 기여도 평가에 있어 수량 기반 기여 지표보다 뛰어난 대안으로 정립한다.

제안 방법

• 지표의 정확성, 관련성, 유용성, 고유성을 포함하는 복합 지표로 QoI를 정의한다.
• 품질 평가의 기준이 되는 참조 데이터셋을 수작업으로 검증한 악성 소프트웨어 샘플에서 확보한다.
• 기계 학습 기법을 적용하여 지표의 품질 차원에 따라 평가 및 점수를 매긴다.
• 실제 악성 소프트웨어 스캔 데이터를 활용해 QoI 지표를 수량 기반 기여 모델과 비교 평가한다.
• 다양한 공급업체 간의 QoI 점수와 수량 기반 점수를 비교 분석하여 대조한다.
• 고품질 기여와 고량 기여 간의 괴리를 분석하여 잠재적 무료 승차 행동을 탐지한다.

실험 결과

연구 질문

• RQ1 지표의 수량 수치를 넘어서, 위협 지표의 품질을 정량적으로 어떻게 측정할 수 있는가?
• RQ2 수량 기반 기여 지표가 위협 지능 공유에서 무료 승차 행동을 얼마나 잘못 탐지하는가?
• RQ3 지표의 정확성, 관련성, 유용성, 고유성은 실제 기여도와 어떻게 상관관계가 있는가?
• RQ4 QoI 지표는 고량이지만 저품질 기여자와 진정으로 유용한 기여자를 어떻게 구분할 수 있는가?
• RQ5 맥락에 따라 달라지는 품질 지표가 탈중앙화된 위협 지능 시스템에서 기여 평가 정확도에 어떤 영향을 미치는가?

주요 결과

• 수량 기반 기여 지표는 무료 승차 행동을 탐지하지 못하며, 일부 고량 기여자들은 거의 0에 가까운 QoI 점수를 보였다.
• vendor 11, vendor 18, vendor 20와 같은 공급업체들은 대량의 지표를 기여했지만 매우 낮은 QoI 점수를 보여, 잠재적인 무료 승차 행동을 시사했다.
• 정확성, 관련성, 유용성 기반 QoI 지표는 수량 기반 점수와 상당한 괴리를 드러내어, 높은 수량이 반드시 높은 품질을 의미하지는 않음을 입증했다.
• QoI 프레임워크는 수량 기반 평가만으로는 식별할 수 없었던 저품질 기여를 성공적으로 식별하였다.
• QoI 지표는 수량 기반 접근 방식보다 더 강력하고 맥락에 민감하며 실질적인 기여도 평가가 가능하다.
• 연구는 QoI가 단순한 데이터 수량을 넘어서 의미 있는 기여를 포착할 수 있음을 확인하였으며, 특히 탈중앙화된 위협 지능 커뮤니티에서 그러한 능력이 두드러진다.