[논문 리뷰] Optimal link prediction with matrix logistic regression

Nicolai Baldin, Quentin Berthet|arXiv (Cornell University)|2018. 03. 19.

Complex Network Analysis Techniques참고 문헌 69인용 수 6

한 줄 요약

이 논문은 정점 측 정보가 있는 네트워크에서 최적의 링크 예측을 위한 행렬 로지스틱 회귀 모델을 제안하며, 블록 희소 구조 가정 하에 프로베니우스 노름 리스크에 대한 최소최대 최적 속도를 확립한다. 이는 조합 최대가능도 추정기(Combinatorial penalized maximum likelihood estimator)가 이 최적 속도를 달성할 수 있음을 증명하지만, 표준 계산 복잡도 가정 하에 다항시간 알고리즘이 이를 달성할 수 없다는 점을 보여주며, 기초적인 통계-계산 상충관계를 드러낸다.

ABSTRACT

We consider the problem of link prediction, based on partial observation of a large network, and on side information associated to its vertices. The generative model is formulated as a matrix logistic regression. The performance of the model is analysed in a high-dimensional regime under a structural assumption. The minimax rate for the Frobenius-norm risk is established and a combinatorial estimator based on the penalised maximum likelihood approach is shown to achieve it. Furthermore, it is shown that this rate cannot be attained by any (randomised) algorithm computable in polynomial time under a computational complexity assumption.

연구 동기 및 목표

• 정점 측 정보를 활용하여 대규모 네트워크에서 링크 예측을 위한 통계적으로 최적의 프레임워크를 개발하는 것.
• 고차원 행렬 로지스틱 회귀 모델에서 프로베니우스 노름 리스크에 대한 최소최대 추정 속도를 확립하는 것.
• 다항시간 제약 조건 하에서 최소최대 최적 속도를 달성할 수 있는 계산 가능성 여부를 조사하는 것.
• 희소 블록 구조를 가진 상호작용 행렬의 추정에서 통계-계산 격차를 밝혀내는 것.
• 기존 모델에서의 하한 기법을 공변수를 가진 일반화선형모형으로 확장하는 것.

제안 방법

• 링크 예측을 정점 측 정보와 알려지지 않은 상호작용 행렬의 이항형식의 시그모이드에 의존하는 행렬 로지스틱 회귀 모델로 공식화한다.
• 진짜 상호작용 행렬이 랭크와 희소성에 대해 유계인 블록 희소 구조를 가진다는 구조적 가정을 도입하여 저차원 내재적 구조를 반영한다.
• 최소최대 최적 추정 속도를 달성하기 위해 조합 최대가능도 기반의 펜리티 추정기를 제안한다.
• 식별된 클리크 문제로의 감소와 레 캄의 방법을 사용하여 추정 리스크에 대한 최소최대 하한을 유도한다.
• 식별된 클리크 문제의 난이도를 가정할 때, 어떤 다항시간 알고리즘도 최소최대 속도를 달성할 수 없다는 점을 보여 계산 난이도를 입증한다.
• 추정된 행렬 노름에 기반한 검정 통계량을 사용하여 가설을 분리하며, 고차원 검정 프레임워크에서 추정 오차와 탐지 능력 간의 연관성을 연결한다.

실험 결과

연구 질문

• RQ1 측변수 정보가 있는 고차원 행렬 로지스틱 회귀 모델에서 링크 예측의 최소최대 추정 속도는 무엇인가?
• RQ2 유사한 구조적 가정 하에 다항시간 알고리즘이 최소최대 최적 추정 속도를 달성할 수 있는가?
• RQ3 상호작용 행렬의 블록 희소 구조가 링크 예측에서 통계적 및 계산적 상충관계에 어떻게 영향을 미치는가?
• RQ4 최소최대 하한은 일반화선형모형에 대해 어느 정도까지 일반화될 수 있는가?
• RQ5 이 클래스의 모델에서 통계적 최적성과 계산 가능성 사이에 근본적인 격차가 존재하는가?

주요 결과

• 블록 희소 가정 하에 프로베니우스 노름 리스크에 대한 최소최대 속도는 $\Omega\left(\frac{k^2 \alpha_N^2}{N}\right)$ 로 확립되며, 여기서 $k$ 는 블록 랭크이고 $\alpha_N$ 은 희소성 제어를 위한 상수이다.
• 조합 최대가능도 기반의 펜리티 추정기가 이 최소최대 속도를 달성함으로써 통계적 최적성이 달성 가능하다는 것을 증명한다.
• 식별된 클리크 문제의 난이도를 가정할 때, 어떤 다항시간 알고리즘도 최소최대 속도를 달성할 수 없으며, 이는 계산 하한을 입증한다.
• 최소최대 속도는 임의의 다항시간 랜덤 알고리즘으로도 달성될 수 없으며, 이는 근본적인 통계-계산 상충관계를 시사한다.
• 하한 기법은 일반화선형모형으로까지 확장되며, 이는 고차원 네트워크 모델에서 이러한 상충관계가 널리 퍼져 있을 수 있음을 시사한다.
• 기본 문제의 통계적 난이도가 그대로 유지된다면, 추가적인 저랭크 구조를 도입한다고 해도 계산적으로 도움이 되지 않는다는 점을 시사한다.