[논문 리뷰] On Learning Graphs with Edge-Detecting Queries

Hasan Abasi, Nader H. Bshouty|arXiv (Cornell University)|2018. 03. 28.

Machine Learning and Algorithms참고 문헌 9인용 수 7

한 줄 요약

이 논문은 간선 검출 쿼리(각 쿼리는 정점의 부분집합에 적어도 하나의 간선이 포함되어 있는지를 확인하는 쿼리)를 사용하여 알려지지 않은 그래프를 학습하기 위한 새로운 랜덤 알고리즘을 제안한다. 이는 두 가지 열린 문제를 해결한다: 간선 수 $m$이 알려지지 않은 경우에도 $O(m\log n)$ 쿼리로 수행할 수 있도록 하는 것과, 쿼리 복잡도를 증가시키지 않고 라운드 수를 $O(\log^* n)$로 줄이는 것이다. 주요 기여는 최적의 쿼리 수를 확보하면서 $O(\log^* n)$라운드 내에 동작하는 라스베고스 알고리즘을 설계한 것이다.

ABSTRACT

We consider the problem of learning a general graph $G=(V,E)$ using edge-detecting queries, where the number of vertices $|V|=n$ is given to the learner. The information theoretic lower bound gives $m\log n$ for the number of queries, where $m=|E|$ is the number of edges. In case the number of edges $m$ is also given to the learner, Angluin-Chen's Las Vegas algorithm \cite{AC08} runs in $4$ rounds and detects the edges in $O(m\log n)$ queries. In the other harder case where the number of edges $m$ is unknown, their algorithm runs in $5$ rounds and asks $O(m\log n+\sqrt{m}\log^2 n)$ queries. There have been two open problems: \emph{(i)} can the number of queries be reduced to $O(m\log n)$ in the second case, and, \emph{(ii)} can the number of rounds be reduced without substantially increasing the number of queries (in both cases). For the first open problem (when $m$ is unknown) we give two algorithms. The first is an $O(1)$-round Las Vegas algorithm that asks $m\log n+\sqrt{m}(\log^{[k]}n)\log n$ queries for any constant $k$ where $\log^{[k]}n=\log \stackrel{k}{\cdots} \log n$. The second is an $O(\log^*n)$-round Las Vegas algorithm that asks $O(m\log n)$ queries. This solves the first open problem for any practical $n$, for example, $n<2^{65536}$. We also show that no deterministic algorithm can solve this problem in a constant number of rounds. To solve the second problem we study the case when $m$ is known. We first show that any non-adaptive Monte Carlo algorithm (one-round) must ask at least $Ω(m^2\log n)$ queries, and any two-round Las Vegas algorithm must ask at least $m^{4/3-o(1)}\log n$ queries on average. We then give two two-round Monte Carlo algorithms, the first asks $O(m^{4/3}\log n)$ queries for any $n$ and $m$, and the second asks $O(m\log n)$ queries when $n>2^m$. Finally, we give a $3$-round Monte Carlo algorithm that asks $O(m\log n)$ queries for any $n$ and $m$.

연구 동기 및 목표

• 간선 수 $m$이 알려지지 않은 그래프 학습에서 쿼리 복잡도를 $O(m\log n)$로 줄이는 열린 문제를 해결하기 위해.
• 특히 $m$이 알려지지 않은 경우에 쿼리 수를 크게 증가시키지 않고도 라운드 수를 줄이는 그래프 학습 알고리즘을 개선하기 위해.
• 몬테 카를로 및 라스베고스 모델 하에서 비적응형 및 두라운드 알고리즘의 쿼리 복잡도에 대한 날카로운 하한을 확립하기 위해.
• 특히 $n < 2^{65536}$인 실용적 환경에서 최적 또는 근접한 쿼리 복잡도를 확보하면서 최소한의 라운드 수로 작동하는 효율적인 알고리즘을 설계하기 위해.

제안 방법

• 반복적인 차수 추정을 통해 $\log^{[k]}n$-레벨 로그 중첩을 이용하여 에러를 제한하는 $k$라운드 라스베고스 알고리즘을 제안하며, 이로 인해 $m\log n + \sqrt{m}(\log^{[k]}n)\log n$ 쿼리가 가능해진다.
• $\log^* n$라운드 알고리즘을 도입하여 $p$-랜덤 쿼리를 사용해 정점의 차수를 높은 확률로 추정하고, 농도 경계를 활용해 비간선을 효율적으로 식별한다.
• $p$를 추정된 차수에 따라 적응적으로 선택하여 각 쿼리에서 비간선을 탐지할 확률을 최대화하는 $p$-랜덤 쿼리 전략을 도입한다.
• 독립 집합과 이웃 분석을 활용해 비간선 탐지 성공 확률를 제한하여, 각 정점 $u$에 대해 $O(d_u \log n)$ 쿼리로 충분함을 보장한다.
• 감소하는 확률 $p$로 쿼리를 생성하는 계층적 쿼리 전략을 적용하여 커버리지와 탐지 효율성의 균형을 맞춘다.
• 모든 결정적 알고리즘이 상수 라운드 내에서 문제를 해결할 수 없음을 증명하여, 결정적 접근의 본질적 한계를 규명한다.

실험 결과

연구 질문

• RQ1 모르고 있는 간선 수 $m$에 대해 쿼리 복잡도를 정보 이론적 하한과 일치시키며 $O(m\log n)$로 줄일 수 있는가?
• RQ2 모르고 있는 $m$의 설정에서 쿼리 복잡도를 $O(m\log n)$로 유지하면서도 라운드 수를 $O(\log^* n)$로 줄일 수 있는가?
• RQ3 $m$이 알려진 경우, 두라운드 몬테 카를로 및 라스베고스 알고리즘의 쿼리 복잡도에 대한 날카로운 하한은 무엇인가?
• RQ4 모든 $O(m\log n)$ 쿼리로 그래프 학습을 수행할 수 있는 상수 라운드 결정적 알고리즘이 존재하는가?

주요 결과

• $O(\log^* n)$라운드 라스베고스 알고리즘이 $m$이 알려지지 않은 경우에도 $O(m\log n)$ 쿼리로 그래프 학습을 수행할 수 있으며, 이는 $n < 2^{65536}$인 모든 실용적 경우에 첫 번째 열린 문제를 해결한다.
• 임의의 상수 $k$에 대해 $k$라운드 라스베고스 알고리즘이 $m\log n + \sqrt{m}(\log^{[k]}n)\log n$ 쿼리를 달성하며, 이는 이전의 $O(m\log n + \sqrt{m}\log^2 n)$ bound를 향상시킨다.
• 어떤 결정적 알고리즘도 상수 라운드 내에서 문제를 해결할 수 없으며, 이는 결정적 접근의 본질적 한계를 규명한다.
• $m$이 알려진 경우, 모든 비적응형 몬테 카를로 알고리즘은 $\Omega(m^2\log n)$ 쿼리가 필요하며, 모든 두라운드 라스베고스 알고리즘은 평균적으로 $m^{4/3-o(1)}\log n$ 쿼리가 필요하다.
• $n$과 $m$에 관계없이 $O(m\log n)$ 쿼리를 달성하는 삼라운드 몬테 카를로 알고리즘이 존재하며, 두라운드 몬테 카를로 알고리즘은 $O(m^{4/3}\log n)$ 쿼리를 달성한다.
• $n > 2^m$인 경우, 두라운드 몬테 카를로 알고리즘이 $O(m\log n)$ 쿼리로 작동할 수 있으며, 이는 특정 매개변수 영역 하에서 쿼리 복잡도가 최적일 수 있음을 보여준다.