[논문 리뷰] Submodularity on Hypergraphs: From Sets to Sequences

Marko Mitrovic, Moran Feldman외 2명|arXiv (Cornell University)|2018. 02. 26.

Complexity and Algorithms in Graphs참고 문헌 18인용 수 6

한 줄 요약

이 논문은 일반적인 방향성 그래프와 초그래프에서 하위모듈러 최적화를 순서로 확장하는 두 가지 새로운 알고리즘—Sequence-Greedy와 Hyper Sequence-Greedy—을 소개한다. 이 알고리즘들은 기저 그래프에 사이클이 포함되어 있어도 일정 요소 근사 보장을 달성한다. 주요 기여는 순환 그래프를 포함한 비순환 그래프를 초월한 하위모듈러 순서 최적화를 위한 첫 이론적 프레임워크를 제공한 것이다. 이는 영화 추천 및 MOOC 과정 순서 매기기와 같은 실세계 작업에서 검증되었다.

ABSTRACT

In a nutshell, submodular functions encode an intuitive notion of diminishing returns. As a result, submodularity appears in many important machine learning tasks such as feature selection and data summarization. Although there has been a large volume of work devoted to the study of submodular functions in recent years, the vast majority of this work has been focused on algorithms that output sets, not sequences. However, in many settings, the order in which we output items can be just as important as the items themselves. To extend the notion of submodularity to sequences, we use a directed graph on the items where the edges encode the additional value of selecting items in a particular order. Existing theory is limited to the case where this underlying graph is a directed acyclic graph. In this paper, we introduce two new algorithms that provably give constant factor approximations for general graphs and hypergraphs having bounded in or out degrees. Furthermore, we show the utility of our new algorithms for real-world applications in movie recommendation, online link prediction, and the design of course sequences for MOOCs.

연구 동기 및 목표

• 순서가 유티니에 상당한 영향을 미치는 집합에서의 하위모듈러 최적화를 순서로 확장함으로써 기존의 빈도를 메우는 것.
• 이전 연구가 방향성 비순환 그래프(DAG)에만 적용 가능했던 한계를 극복하여 순환 그래프를 포함한 일반 그래프에 적용 가능하게 하는 것.
• 방향성 그래프와 초그래프를 통한 간선 기반 유티니를 활용해 순서에 대한 하위모듈러 함수를 위한 이론적 프레임워크를 개발하는 것.
• 일반 그래프 및 초그래프에서 유한한 진입/출구 차수를 가진 경우에도 일정 요소 근사 보장을 달성하는 실용적 알고리즘을 설계하는 것.
• 제안된 방법이 영화 추천, 온라인 링크 예측, MOOC 과정 순서 설계와 같은 실세계 응용 분야에서 실용적 유효성을 보여주는 것.

제안 방법

• 순서 선택 문제를 방향성 그래프 $G = (V, E)$를 사용해 모델링하며, 간선은 특정 순서로 항목을 선택할 때의 추가 가치를 표현한다.
• 목적 함수를 $f(\sigma) = h(E(\sigma))$로 정의하며, 여기서 $h$는 간선 집합 위에서 정의된 음이 아닌 단조 증가 하위모듈러 집합 함수이고, $E(\sigma)$는 순서 $\sigma$에 의해 유도된 간선 집합이다.
• Sequence-Greedy: 각 단계에서 $h$의 경계 기여도를 고려하여, 개별 기여도와 간선 기반 기여도를 모두 고려해 다음 정점을 선택하는 그레디 알고리즘.
• Hyper Sequence-Greedy: 초간선을 사용해 고차원 의존성을 모델링하는 일반화된 알고리즘으로, 최대 $k$개의 항목으로 구성된 순서의 유티니를 포괄한다.
• 각 초간선 $e_s$가 최대 $k$개의 항목으로 구성된 순서 $s$에 대응되며, $p_s$는 사용자 관심도를 나타내는 확률로 가중치로 설정된다.
• 희귀 순서에 대한 과적합을 방지하기 위해, 특히 저빈도 설정에서 중요한 역할을 하는 스무딩 파라미터 $d$를 적용한다.

실험 결과

연구 질문

• RQ1 일반적인 방향성 그래프(사이클 포함)에서 하위모듈러 최적화를 집합에서 순서로 확장할 수 있는가?
• RQ2 기저 그래프가 DAG가 아닐 경우 하위모듈러 순서 최적화에 대해 어떤 이론적 근사 보장이 달성될 수 있는가?
• RQ3 초그래프는 이차 순서를 초월해 순서 선택에서 고차원 의존성을 어떻게 모델링할 수 있는가?
• RQ4 제안된 알고리즘이 영화 추천 및 과정 순서 매기기와 같은 실세계 응용에서 기존 베이스라인을 능가하는가?
• RQ5 순서의 모델링이 실생활 추천 및 교육적 순서 매기기 작업에서 유티니 향상에 얼마나 기여하는가?

주요 결과

• Sequence-Greedy와 Hyper Sequence-Greedy는 유한한 진입 또는 출구 차수를 가진 일반 그래프 및 초그래프에서 최적 해에 대한 일정 요소 근사 보장을 달성한다.
• MOOC 과정 순서 추천에서 Hyper Sequence-Greedy는 OMegA와 Sequence-Greedy를 모두 능가하며, 성능 상위 백분율 순서를 선택한다.
• MOOC 데이터셋에서 Hyper Sequence-Greedy는 사용자 참여도가 높은 순서를 선택했으며, 추천된 순서를 따르는 사용자들이 높은 과정 이수율을 보였다.
• 작은 $k=4$에서도 알고리즘이 강건성을 유지했으며, OMegA가 Sequence-Greedy를 능가한 것은 작은 순서 길이와 OMegA의 랜덤 토폴로지 순서 정렬 때문일 가능성이 높다.
• 초간선의 사용은 복잡한 의존성의 모델링을 크게 향상시켰으며, 이는 이차 간선 모델 대비 실세계 데이터셋에서의 성능 향상으로 입증되었다.
• 실험 결과로는 선택된 순서가 사용자 관심을 자극하는 데 매우 효과적이며, 특히 영화 프랜차이즈나 과정 시리즈와 같은 일관된 주제적 진행을 반영할 경우 더욱 높은 효과를 보였다.