[논문 리뷰] The stochastic multi-gradient algorithm for multi-objective optimization and its application to supervised machine learning

Suyun Liu, L. N. Vicente|arXiv (Cornell University)|2019. 07. 10.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 8

한 줄 요약

이 논문은 불확실성 하에서 다목적 최적화를 위한 확률적 다중기울기(Stochastic Multi-Gradient, SMG) 알고리즘을 제안한다. 이는 갈등하는 목표를 다루기 위해 확률적 기울기 방법을 확장한 것으로, 편향이 있는 다중기울기 추정치가 존재하는 상황에서도 단일목표 확률적 기울기 하강법과 비교할 만한 수렴 속도를 확보한다. 또한 합성 문제와 다중원천 로지스틱 회귀와 같은 지도학습 문제에서 뛰어난 성능을 보여준다.

ABSTRACT

Optimization of conflicting functions is of paramount importance in decision making, and real world applications frequently involve data that is uncertain or unknown, resulting in multi-objective optimization (MOO) problems of stochastic type. We study the stochastic multi-gradient (SMG) method, seen as an extension of the classical stochastic gradient method for single-objective optimization. At each iteration of the SMG method, a stochastic multi-gradient direction is calculated by solving a quadratic subproblem, and it is shown that this direction is biased even when all individual gradient estimators are unbiased. We establish rates to compute a point in the Pareto front, of order similar to what is known for stochastic gradient in both convex and strongly convex cases. The analysis handles the bias in the multi-gradient and the unknown a priori weights of the limiting Pareto point. The SMG method is framed into a Pareto-front type algorithm for the computation of the entire Pareto front. The Pareto-front SMG algorithm is capable of robustly determining Pareto fronts for a number of synthetic test problems. One can apply it to any stochastic MOO problem arising from supervised machine learning, and we report results for logistic binary classification where multiple objectives correspond to distinct-sources data groups.

연구 동기 및 목표

• 목적이 상호 갈등하고 데이터가 확률적 또는 불확실한 다목적 최적화 문제를 다루는 것.
• 개별 기울기 추정치가 편향이 없더라도 다중기울기 방향의 편향을 고려하여 확률적 기울기 방법을 다목적 설정으로 확장하는 것.
• 스토캐스틱 다목적 최적화 문제에서 전체 파레토 최적 해를 근사할 수 있는 파레토 최적 해 유형의 알고리즘을 개발하는 것.
• 편향된 기울기 추정치가 존재하는 상황에서도 볼록 및 강볼록 설정에서 SMG 방법의 수렴 속도를 확립하는 것.
• 특히 이질적인 데이터 소스를 가진 지도학습 과제에 적용하여 다양한 데이터 그룹 간 성능 균형을 달성하는 것.

제안 방법

• SMG 방법은 각 반복에서 이차부문문제를 풀어 개별 확률적 기울기를 통합하는 확률적 다중기울기 방향을 계산한다.
• 개별 기울기 추정치는 비편향일지라도 다중기울기 방향은 편향을 가질 수 있으며, 이에 대해 부문문제를 통한 편향 전파 분석을 통해 이를 다룬다.
• 수렴 분석은 가중치 합 스칼라화 방법과 적응형 가중치를 사용하여 파레토 최적 해 상의 점으로의 수렴을 보장한다.
• 다양한 가중치를 변화시켜 해의 수열을 추적함으로써 전체 파레토 최적 해를 반복적으로 근사하는 파레토 최적 해 SMG 알고리즘을 제안한다.
• 수렴과 분산의 균형을 맞추기 위해 $\alpha_k = \bar{\alpha}/\sqrt{k}$ 형태의 감소하는 스텝 사이즈를 사용한다.
• 기대 하위최적성 갭을 사용한 이론적 수렴 속도를 유도하여, 볼록 및 강볼록 케이스 모두에서 $O(1/\sqrt{k})$ 수렴 속도를 보여준다.

실험 결과

연구 질문

• RQ1 갈등하는 목표와 노이즈가 있는 데이터를 가진 다목적 최적화에 대해 확률적 기울기 방법을 효과적으로 확장할 수 있는가?
• RQ2 다중기울기 방향의 편향은 수렴에 어떤 영향을 미치며, 여전히 수렴 속도를 확립할 수 있는가?
• RQ3 볼록 및 강볼凸 스트로케스틱 다목적 최적화 문제에서 SMG 방법이 달성할 수 있는 수렴 속도는 무엇인가?
• RQ4 SMG 방법은 다양한 시험 문제에서 전체 파레토 최적 해를 견고하게 근사할 수 있는가?
• RQ5 이상적인 지도학습 과제, 특히 이질적인 데이터 소스를 가진 경우 SMG 방법은 어떤 성능을 보이는가?

주요 결과

• SMG 방법은 볼록 및 강볼凸 설정 모두에서 파레토 최적 해로의 수렴 속도가 $O(1/\sqrt{k})$ 수준이며, 이는 단일목표 확률적 기울기 하강법의 알려진 수렴 속도와 동일하다.
• 개별 기울기 추정치는 비편향일지라도 다중기울기 방향은 편향을 가지며, 이에 대한 분석을 명시적으로 수렴 보장에 포함시켰다.
• 파레토 최적 해 SMG 알고리즘은 합성 시험 문제에서 전체 파레토 최적 해를 성공적으로 근사하였으며, 진정한 최적 해로의 수렴과 견고성을 입증하였다.
• 이 방법은 지도학습에 적용 가능하며, 다수의 데이터 그룹이 있는 로지스틱 회귀에서 성능 균형 최적화를 효과적으로 수행하는 것으로 실험 결과가 입증되었다.
• 이론적 분석을 통해 기대 하위최적성 갭이 $O(1/\sqrt{k})$ 속도로 감소하며, 최적 해와의 초기 반복점 거리 및 기울기 분산을 포함한 명시적 상한이 존재함을 확인하였다.
• Spread 및 Purity 지표는 SMG 알고리즘이 잘 분포되고 정확한 파레토 최적 해를 생성하며, 계산된 최적 해에서 높은 순도와 낮은 구멍 크기를 보임을 보여주었다.