[논문 리뷰] A supervised approach to time scale detection in dynamic networks

Benjamin Fish, Rajmonda S. Caceres|arXiv (Cornell University)|2017. 02. 24.

Complex Network Analysis Techniques참고 문헌 17인용 수 11

한 줄 요약

이 논문은 레이블이 부여된 학습 데이터를 활용하여 작업별 성능에 기반해 윈도잉의 세분성(granularity)을 최적화하는 지도 학습 프레임워크를 제안한다. 이 방법은 작업에 따라 다른 지도 학습 기반의 지표를 활용함으로써 링크 예측 및 속성 예측에서 비지도 기반 보다 뛰어난 성능을 보이며, 변화점 탐지와 같은 저자료 환경에서는 학습 신호가 제한되어 있어 성능 저하가 발생한다.

ABSTRACT

For any stream of time-stamped edges that form a dynamic network, an important choice is the aggregation granularity that an analyst uses to bin the data. Picking such a windowing of the data is often done by hand, or left up to the technology that is collecting the data. However, the choice can make a big difference in the properties of the dynamic network. This is the time scale detection problem. In previous work, this problem is often solved with a heuristic as an unsupervised task. As an unsupervised problem, it is difficult to measure how well a given algorithm performs. In addition, we show that the quality of the windowing is dependent on which task an analyst wants to perform on the network after windowing. Therefore the time scale detection problem should not be handled independently from the rest of the analysis of the network. We introduce a framework that tackles both of these issues: By measuring the performance of the time scale detection algorithm based on how well a given task is accomplished on the resulting network, we are for the first time able to directly compare different time scale detection algorithms to each other. Using this framework, we introduce time scale detection algorithms that take a supervised approach: they leverage ground truth on training data to find a good windowing of the test data. We compare the supervised approach to previous approaches and several baselines on real data.

연구 동기 및 목표

• 동적 네트워크에서 최적의 집계 윈도우 크기(시간 스케일)를 선택하는 문제를 다루며, 이는 네트워크 분석 결과에 상당한 영향을 미친다.
• 최적의 시간 스케일이 링크 예측, 속성 예측, 변화점 탐지와 같은 다양한 목표에 따라 본질적으로 작업에 따라 달라진다는 것을 입증한다.
• 하류 분석 작업에서의 성능 측정을 통해 윈도잉 알고리즘 간 직접 비교가 가능한 새로운 프레임워크를 제안한다.
• 레이블이 부여된 학습 데이터로부터 학습하여 작업별 최적 성능를 달성하는 데 목표를 둔 지도 학습 윈도잉 알고리즘을 개발한다.
• 실제 동적 네트워크 데이터 세트에서 지도 학습 방법이 비지도 기반 보다 뛰어나다는 것을 검증한다.

제안 방법

• 프레임워크는 특정 분석 작업을 위한 레이블이 부여된 학습 세트에서의 성능에 기반해 윈도잉 파라미터를 조정하는 지도 학습 문제로 시간 스케일 탐지를 다룬다.
• 링크 예측, 속성 예측, 변화점 탐지와 같은 각 작업에 대해, 레이블이 부여된 데이터를 사용해 테스트 데이터에 대한 최적 윈도우 크기를 선택하는 모델을 학습한다.
• 하류 작업 성능를 측정하여 윈도잉 품질을 평가함으로써, 다양한 윈도잉 알고리즘 간 직접 비교가 가능하다.
• 초파rameter B와 M이 윈도우 크기 수를 제어하는 가중치가 있는 및 없는 두 가지 변형을 사용한 지도 학습 윈도잉 알고리즘을 적용한다.
• 실제 데이터 세트(Reality Mining, Haggle 등) 여러 개에서 성능을 평가하며, 연속된 시간 간격으로 결과를 집계하여 안정성 평가를 수행한다.
• 윈도우 크기 민감도는 연속된 데이터 간격 간 성능 점수의 차이를 측정하여 분석하며, 이는 작업별 안정성에 대한 지표가 된다.

실험 결과

연구 질문

• RQ1 동적 네트워크 분석에서 최적의 시간 스케일이 하류 분석 작업에 따라 달라지는가?
• RQ2 작업 성능에 기반해 직접 비교하고 최적화할 수 있는 지도 학습 프레임워크를 사용할 수 있는가?
• RQ3 다양한 네트워크 분석 작업에서 지도 학습 윈도잉의 성능는 비지도 기반 보다 어떻게 다른가?
• RQ4 학습 데이터의 질이 저자료 환경에서 지도 학습 시간 스케일 탐지의 성능에 얼마나 영향을 미치는가?
• RQ5 다양한 작업에서 윈도잉 전략의 성능는 윈도우 크기 변화에 얼마나 민감한가?

주요 결과

• 지도 학습 방법은 링크 예측 및 속성 예측 작업에서 비지도 기반 보다 뚜렷하게 뛰어난 성능을 보이며, 작업에 특화된 최적화의 가치를 입증한다.
• 가중치가 있는 지도 알고리즘 버전이 전체적으로 가장 뛰어난 성능를 보였지만, 희소한 학습 데이터로 인해 Haggle 데이터 세트에서는 성능이 떨어졌으며, 이는 과적합의 결과로 보인다.
• 변화점 탐지 작업에서 윈도우 크기 민감도가 가장 높았으며, 작은 크기 변화에도 성능가 크게 변동하여 최적화가 어려웠다.
• 과거 성능가 향후 성능를 예측하는 가정이 변화점 탐지에 대해서는 덜 타당했으며, 이는 연속된 간격 간 점수 차이가 크기 때문에 일반화 능력이 떨어짐을 시사한다.
• 초파rameter B와 M(테스트하는 윈도우 크기 수)을 증가시켰을 때 성능 향상이 약간 있었지만, 수익은 미미하여 실무에서 작은 고정된 값 사용이 타당함을 확인한다.
• 결과는 윈도잉이 작업에 따라 달라진다는 것을 확인한다: 링크 예측에 최적인 윈도우 크기는 변화점 탐지에 최적인 크기와 다름을 보이며, 보편적인 최적 시간 스케일이 존재한다는 가정을 도전한다.