[논문 리뷰] Large-scale Stochastic Optimization of NDCG Surrogates for Deep Learning with Provable Convergence

Zi-Hao Qiu, Quanqi Hu외 3명|arXiv (Cornell University)|2022. 02. 24.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 딥러닝에서 NDCG 및 토프-K NDCG 서로가를 위한 최초의 확률적 최적화 알고리즘을 제안하며, 증명 가능한 수렴 보장을 갖춘다. NDCG 최적화를 유한합 결합 복합 문제로, 토프-K NDCG를 이중 복합 문제로 공식화함으로써, 반복당 복잡도가 미니배치 크기와만 비례하는 효율적인 확률적 알고리즘을 개발하여 O(1/ε⁴) 수렴 속도를 달성하고 랭킹 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

NDCG, namely Normalized Discounted Cumulative Gain, is a widely used ranking metric in information retrieval and machine learning. However, efficient and provable stochastic methods for maximizing NDCG are still lacking, especially for deep models. In this paper, we propose a principled approach to optimize NDCG and its top-$K$ variant. First, we formulate a novel compositional optimization problem for optimizing the NDCG surrogate, and a novel bilevel compositional optimization problem for optimizing the top-$K$ NDCG surrogate. Then, we develop efficient stochastic algorithms with provable convergence guarantees for the non-convex objectives. Different from existing NDCG optimization methods, the per-iteration complexity of our algorithms scales with the mini-batch size instead of the number of total items. To improve the effectiveness for deep learning, we further propose practical strategies by using initial warm-up and stop gradient operator. Experimental results on multiple datasets demonstrate that our methods outperform prior ranking approaches in terms of NDCG. To the best of our knowledge, this is the first time that stochastic algorithms are proposed to optimize NDCG with a provable convergence guarantee. Our proposed methods are implemented in the LibAUC library at https://libauc.org/.

연구 동기 및 목표

• 딥러닝에서 NDCG를 최대화하기 위한 효율적이고 증명 가능한 수렴 성질을 갖춘 확률적 최적화 방법의 부족을 해결하기 위해.
• 기존 NDCG 최적화 방법의 높은 반복당 비용 문제를 해결하기 위해, 이는 총 항목 수 n에 비례한다.
• 표준 NDCG와 토프-K NDCG 서로가를 위한 원칙적인 확률적 최적화 프레임워크를 개발하고 이론적 수렴 보장을 제공하기 위해.
• 초기 웜업 및 스톱 그래디언트 전략을 통해 딥러닝에서의 실용적 효과를 향상시키기 위해.

제안 방법

• NDCG 서로가 최적화를 유한합 결합 복합 최적화(FCCO) 문제로 공식화한다.
• 기존의 O(1/ε⁵) 경계에 비해 향상된 O(1/ε⁴) 수렴 속도를 갖는 새로운 FCCO를 위한 확률적 알고리즘을 개발한다.
• 다중 하위문제를 포함하는 토프-K NDCG를 위한 이중 복합 최적화 공식화를 제안한다.
• 토프-K NDCG 최적화에서 비연속 선택 연산자를 위한 스무딩 기법을 도입한다.
• 하위문제들에 대한 미니배치 샘플링 전략을 활용해 반복당 복잡도를 감소시킨다.
• 실용적 전략을 통합한다: 더 나은 초기화를 위한 초기 웜업 및 토프-K NDCG 최적화를 단순화하는 스토프 그래디언트 연산자.

실험 결과

연구 질문

• RQ1 총 항목 수 n에 관계없이 반복당 복잡도가 독립적인 NDCG를 위한 확률적 최적화가 가능할 수 있는가?
• RQ2 비볼록 딥러닝 환경에서 NDCG 서로가 최적화를 위한 증명 가능한 수렴 성질을 갖는 확률적 알고리즘이 개발될 수 있는가?
• RQ3 비미분 가능 선택 연산자를 포함하는 토프-K NDCG 최적화 문제는 효과적으로 어떻게 공식화하고 해결할 수 있는가?
• RQ4 어떤 실용적 전략이 딥러닝에서 NDCG 최적화의 수렴성과 성능을 향상시키는가?
• RQ5 제안된 방법은 기존 최첨단 랭킹 접근 방식보다 더 나은 NDCG 성능을 달성할 수 있는가?

주요 결과

• 제안된 NDCG 서로가 최적화를 위한 확률적 알고리즘은 기존 작업의 O(1/ε⁵) 수렴 속도에 비해 향상된 O(1/ε⁴) 수렴 속도를 달성한다.
• 알고리즘의 반복당 복잡도는 총 항목 수 n이 아닌 미니배치 크기 B와만 비례하므로, 대규모 딥러닝 응용에 적합하다.
• 토프-K NDCG의 경우, 스무딩된 선택을 포함하는 이중 복합 공식화를 통해 동일한 O(1/ε⁴) 수렴 속도를 갖는 효율적인 확률적 최적화가 가능하다.
• 초기 웜업 전략은 초기 해의 품질을 크게 향상시켜 수렴 속도를 빠르게 한다.
• 스톱 그래디언트 연산자는 토프-K NDCG 서로서의 최적화를 단순화하고 학습 안정성을 향상시킨다.
• 학습 랭킹 및 추천 시스템 작업에 대한 실증 결과는 기존 방법들에 비해 일관되게 향상된 NDCG 성능을 보였다.