[논문 리뷰] Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization

Francis Bach|arXiv (Cornell University)|2017. 07. 28.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 일변도 측도 공간에서의 볼록 완화를 통해 순서 통일성 최적화를 활용하여 비볼록 등치성 회귀에 대해 효율적인 다항 시간 알고리즘을 제안한다. 제로차수, 일차 및 고차수 오라클 기반의 새로운 이산화 기법을 도입하여 함수 평가 횟수를 $O(1/ε^3)$ 에서 $O(1/ε^{2+1/3})$ 으로 감소시키며, 비볼록 손실 함수가 전역 최적성 보장을 유지하면서도 이상치에 대해 훨씬 더 뛰어난 강건성을 확보함을 입증한다.

ABSTRACT

We consider the minimization of submodular functions subject to ordering constraints. We show that this optimization problem can be cast as a convex optimization problem on a space of uni-dimensional measures, with ordering constraints corresponding to first-order stochastic dominance. We propose new discretization schemes that lead to simple and efficient algorithms based on zero-th, first, or higher order oracles; these algorithms also lead to improvements without isotonic constraints. Finally, our experiments show that non-convex loss functions can be much more robust to outliers for isotonic regression, while still leading to an efficient optimization problem.

연구 동기 및 목표

• 볼록 등치성 회귀를 넘어서 비볼록, 서브모듈러 손실 함수에 대한 효율적 최적화를 확장하기 위해.
• 측도 공간에서의 볼록 완화를 사용하여 서브모듈러 등치성 회귀에 대한 다항 시간 알고리즘을 개발하기 위해.
• 제로차수, 일차 및 고차수 오라클을 위한 수렴 속도 향상을 위한 새로운 이산화 기법을 설계하기 위해.
• 적대적 데이터 오염 하에서 비볼록 손실 함수가 등치성 회귀에서 얼마나 강건한지 입증하기 위해.
• 서브모듈러 최적화 기법을 등치성 제약 조건을 넘어선 문제, 예를 들어 부드러움 우선순위까지 일반화하기 위해.

제안 방법

• 일변도 측도 공간에서의 볼록 최적화 문제로 서브모듈러 등치성 회귀를 공식화하며, 등치성 제약 조건을 일차 확률적 지배로 매핑한다.
• 측도를 표현하기 위해 역누적분포함수 $F_{\mu_i}(x_i) = \mu_i([x_i,1])$ 와 복원을 위한 역함수 $F_{\mu_i}^{-1}(t_i)$ 를 사용한다.
• 테일러 전개(1차 및 2차) 기반의 새로운 이산화 기법을 도입하여 난이도 높은 이산화보다 수렴 성능을 향상시킨다.
• 분리 가능한 경우에 체인 제약 조건에 대한 효율적 투영을 위해 Dykstra의 교차 투영 알고리즘과 Pool-Adjacent-Violators (PAV) 를 적용한다.
• 목적함수의 부드러움 성질을 활용하여 수렴 속도를 가속화하며, 특히 2차 오라클의 경우 두드러진 성능 향상을 보인다.
• 비분리 문제에 대해서는 적응형 스텝 크기를 갖는 서브기울기 하강법을 사용하며, 수치 실험을 통해 검증한다.

실험 결과

연구 질문

• RQ1 등치성 제약 조건이 있는 서브모듈러 함수는 측도 공간에서의 볼록 문제로 재구성될 수 있는가?
• RQ2 서브모듈러 최적화에서 함수 평가 복잡도를 감소시키기 위해 어떤 이산화 기법을 설계할 수 있는가?
• RQ3 일차 및 2차 오라클과 같은 고차 오라클은 비볼록 등치성 회귀에서 수렴 속도에 얼마나 기여하는가?
• RQ4 비볼록 손실 함수는 등치성 회귀에서 볼록 손실 함수보다 이상치에 대해 더 뛰어난 강건성을 제공하는가?
• RQ5 제안된 프레임워크는 등치성 이외의 다른 형태 제약 조건으로도 일반화될 수 있는가?

주요 결과

• 2차 이산화 기법을 사용함으로써 제안된 프레임워크는 함수 평가 횟수를 $O(1/\u03b5^3)$ 에서 $O(1/\u03b5^{2+1/3})$ 으로 감소시킨다.
• 로그arithmic 또는 절대 손실과 같은 비볼록 손실 함수는 등치성 회귀에서 최대 50%의 오염된 데이터에 대해 뚜렷한 강건성을 보인다.
• 분리 가능한 문제의 경우, 부드러운 함수에서는 오차가 $1/k^2$ 의 속도로 감소하고, 비부드러운 함수에서는 $1/k$ 의 속도로 감소하며, 이는 이론적 예측과 일치한다.
• 헤시안 행렬이 유계일 경우, 2차 이산화 기법이 일차 및 난이도 높은 이산화 기법보다 수렴 속도를 크게 향상시킨다.
• 높은 수준의 적대적 오염 하에서도 전역 최적성 보장을 유지하며, 추가 실험에서 최대 75%의 데이터 오염까지 강건성을 입증하였다.
• 이 프레임워크는 등치성 제약 조건을 넘어선 문제로 일반화되며, 등치성 제약 조건이 없을 경우에도 서브모듈러 함수의 효율적 최적화를 가능하게 한다.