[논문 리뷰] Online Similarity Prediction of Networked Data from Known and Unknown Graphs

Claudio Gentile, Mark Herbster외 1명|arXiv (Cornell University)|2013. 02. 28.

Advanced Bandit Algorithms Research참고 문헌 45인용 수 11

한 줄 요약

이 논문은 그래프 구조가 알려져 있거나 점진적으로 노출되는 경우에 네트워크 데이터에 대한 온라인 유사도 예측 알고리즘을 제안한다. 다항로그 시간 예측을 갖는 행렬 퍼셉트론 기반 방법과 점진적으로 노출되는 그래프를 위한 새로운 알고리즘을 도입하여, 라운드당 이차 시간 내에 실수 수를 보장함으로써 변화하는 네트워크에서 효율적인 실시간 학습을 가능하게 한다.

ABSTRACT

We consider online similarity prediction problems over networked data. We begin by relating this task to the more standard class prediction problem, showing that, given an arbitrary algorithm for class prediction, we can construct an algorithm for similarity prediction with "nearly" the same mistake bound, and vice versa. After noticing that this general construction is computationally infeasible, we target our study to {\em feasible} similarity prediction algorithms on networked data. We initially assume that the network structure is {\em known} to the learner. Here we observe that Matrix Winnow \cite{w07} has a near-optimal mistake guarantee, at the price of cubic prediction time per round. This motivates our effort for an efficient implementation of a Perceptron algorithm with a weaker mistake guarantee but with only poly-logarithmic prediction time. Our focus then turns to the challenging case of networks whose structure is initially {\em unknown} to the learner. In this novel setting, where the network structure is only incrementally revealed, we obtain a mistake-bounded algorithm with a quadratic prediction time per round.

연구 동기 및 목표

• 그래프 구조가 알려져 있거나 점진적으로 노출되는 네트워크 데이터에서 온라인 유사도 예측 문제를 다루기 위해.
• 대규모 네트워크에서 실시간 구현에 적합한 이론적 실수 수 보장을 갖는 계산 효율적인 알고리즘 개발을 위해.
• 감소를 통한 온라인 유사도 예측과 온라인 정점 분류 간의 연결을 통해 성능 보장을 가능하게 하기 위해.
• 알 수 없는 그래프에 대해 유사도 패턴을 학습하면서 네트워크 구조를 탐색하는 새로운 알고리즘 설계를 위해.
• 예측 효율성과 실수 수 보장 성능 사이의 유리한 트레이드오프를 달성하기 위해.

제안 방법

• 그래프 구조를 표현하기 위해 무작위 스패닝 트리를 사용하여 행렬 퍼셉트론 알고리즘을 네트워크 데이터에 적응시킨다.
• 클래스 소속성과 경로 정보를 인코딩하기 위해 기본 컷셋 행렬 표현을 사용한다.
• 벡터화된 레이블 행렬을 사용하여 r-노름 퍼셉트론 학습을 통한 선형 임계값 예측을 가능하게 한다.
• 인스턴스 벡터가 스패닝 트리 내 경로 벡터에서 유도되는 경로 기반 표현을 도입한다.
• 벡터화된 레이블 행렬의 l1-노름과 인스턴스 벡터의 l∞-노름을 사용하여 실수 수 분석을 적용한다.
• 점진적으로 노출되는 경로를 통해 네트워크 구조를 동적으로 학습하는 알 수 없는 그래프 케이스를 위한 새로운 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 온라인 유사도 예측을 최소한의 성능 손실로 온라인 정점 분류로 감소시킬 수 있는가?
• RQ2 알려진 그래프 설정에서 실수 수 성능과 예측 효율성 사이의 계산적 트레이드오프는 어떠한가?
• RQ3 그래프 구조가 사전에 알려지지 않은 경우 어떻게 효율적으로 유사도 예측을 수행할 수 있는가?
• RQ4 점진적인 구조 노출 조건에서 알 수 없는 그래프 설정에서 달성 가능한 실수 수는 무엇인가?
• RQ5 행렬 기반 퍼셉트론 알고리즘이 온라인 유사도 예측에서 낮은 계산 비용과 이론적 보장을 동시에 달성할 수 있는가?

주요 결과

• 행렬 퍼셉트론 적응이 각 라운드당 다항로그 시간의 예측 시간을 달성하여 대규모 네트워크에서의 확장성을 확보한다.
• 알고리즘은 O(||vec(U)||₁² log n)의 실수 수를 제공하며, 여기서 ||vec(U)||₁은 스패닝 트리의 총 간선 수에 의해 유계이다.
• 알 수 없는 그래프 케이스에서는 제안된 알고리즘이 각 라운드당 이차 시간 내에 실수 수를 보장하여 변화하는 네트워크에서의 학습을 가능하게 한다.
• 컷셋 행렬 표현을 통해 유사도 레이블의 선형 가분성을 보장함으로써 표준 온라인 학습 보장을 활용할 수 있다.
• 이론적 분석을 통해 알고리즘이 악성 입력 시퀀스 조건에서도 유한한 실수 수를 유지함을 확인한다.
• 프레임워크는 전체 그래프 지식을 사전에 필요로 하지 않으며 실시간 구현을 지원하는 효율적인 온라인 학습을 가능하게 한다.