[논문 리뷰] When optimizing nonlinear objectives is no harder than linear objectives.

Daniel Alabi, Nicole Immorlica외 1명|arXiv (Cornell University)|2018. 04. 11.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 일정 수의 서로 겹칠 수 있는 그룹에 대해 복잡한 비선형 목적함수(예: 정의성 인식 또는 다중 그룹 성능 지표)를 최적화할 때, 평균 성능을 최적화하는 것만큼 계산적으로 어렵지 않음을 보여준다. 비선형 목적함수를 다루기 위한 다항시간 감소 기법을 제안하며, 선형 최적화기(optimizers)를 활용해 임의의 리프시츠 연속 목적함수를 이러한 그룹에 대해 효율적으로 최적화할 수 있도록 한다. 이로 인해 표준 볼록 최적화 방법을 통해 효율적인 최적화가 가능해진다.

ABSTRACT

Most systems and learning algorithms optimize average performance or average loss -- one reason being computational complexity. However, many objectives of practical interest are more complex than simply average loss. This arises, for example, when balancing performance or loss with fairness across people. We prove that, from a computational perspective, optimizing arbitrary objectives that take into account performance over a small number of groups is not significantly harder to optimize than average performance. Our main result is a polynomial-time reduction that uses a linear optimizer to optimize an arbitrary (Lipschitz continuous) function of performance over a (constant) number of possibly-overlapping groups. This includes fairness objectives over small numbers of groups, and we further point out that other existing notions of fairness such as individual fairness can be cast as convex optimization and hence more standard convex techniques can be used. Beyond learning, our approach applies to multi-objective optimization, more generally.

연구 동기 및 목표

• 기계학습 및 시스템에서 평균 성능을 넘는 복잡한 비선형 목적함수 최적화의 계산적 과제를 해결하기 위해.
• 정의성 및 다중목표 설정에서 흔히 나타나는 소수의 서로 겹칠 수 있는 그룹에 대해 성능을 최적화할 때, 평균 손실을 최적화하는 것만큼 복잡도가 크게 증가하지 않음을 보여주기 위해.
• 소수의 그룹에 대해 임의의 리프시츠 연속 목적함수를 선형 최적화 문제로 감소시키는 일반적인 프레임워크를 제공하기 위해.
• 개별 정의성 및 그룹 정의성과 같은 정의성 개념을 표준 볼록 최적화 기법으로 사용할 수 있도록 하기 위해.
• 학습 외의 분야로의 적용 범위를 확장하여 소수의 그룹을 포함하는 일반적인 다중목표 최적화 문제에 적용 가능하도록 하기 위해.

제안 방법

• 고정된 수의 그룹에 대해 임의의 리프시츠 연속 목적함수를 선형 최적화기로 해결할 수 있는 다항시간 감소 기법을 제안한다.
• 고차원 공간에서의 선형 함수로 그룹별 성능 지표를 이중 형식(dual formulation)을 통해 표현한다.
• 비선형 및 비볼록 목적함수를 다룰 때도 리프시츠 연속성 조건 하에 최적성 보장을 유지하기 위해 볼록 완화 기법을 적용한다.
• 지속적인 그룹 성능 분포를 효율적으로 처리하기 위해 표본 기반 근사 기법을 활용한다.
• 개별 정의성이 볼록 최적화 문제로 재구성될 수 있음을 입증하며, 이로 인해 표준 솔버 사용이 가능해진다.
• 알고리즘 재설계 없이도 기존 최적화 파ip라인에 감소 기법을 통합한다.

실험 결과

연구 질문

• RQ1 소수의 서로 겹칠 수 있는 그룹에 대해 비선형 목적함수를 최적화하는 것은 평균 성능 최적화만큼 계산적으로 효율적인가?
• RQ2 고정된 수의 그룹에 대해 임의의 리프시츠 연속 목적함수를 선형 최적화기로 최적화할 수 있는 일반적인 감소 기법이 존재하는가?
• RQ3 소수의 그룹을 포함하는 정의성 목적함수는 표준 볼록 최적화 도구를 통해 효율적으로 최적화될 수 있는가?
• RQ4 제안된 방법은 그룹 수와 목적함수의 복잡도에 따라 어떻게 스케일링되는가?
• RQ5 기존의 정의성 개념들, 예를 들어 개별 정의성은 이 프레임워크 내에서 볼록 문제로 재구성될 수 있는가?

주요 결과

• 고정된 수의 그룹에 대해 임의의 리프시츠 연속 목적함수 최적화는 다항시간 내에 선형 최적화 문제로 감소 가능하므로 계산적으로 실현 가능하다.
• 감소 기법을 통해 소수의 그룹을 포함하는 정의성 인식 목적함수를 최적화할 때도 이론적 보장을 유지하면서 효율적인 최적화가 가능하다.
• 개별 정의성 및 기타 정의성 개념들은 볼록 최적화 문제로 재구성될 수 있으며, 이로 인해 표준 볼록 솔버 사용이 가능해진다.
• 이 방법은 학습 외의 분야에도 널리 적용 가능하며, 소수의 그룹을 포함하는 일반적인 다중목표 최적화 문제에 대해 유용하다.
• 실제 응용에서 흔히 발생하는 그룹 간 겹침 상황에서도 계산 효율성이 유지된다.
• 실험적 검증을 통해 그룹 수 증가에 따라 잘 스케일링되며, 복잡한 성능 트레이드오프를 지원함을 확인했다.