[논문 리뷰] Multi-Objective Learning to Predict Pareto Fronts Using Hypervolume Maximization

Timo M. Deist, Monika Grewal외 3명|arXiv (Cornell University)|2021. 02. 08.

Advanced Multi-Objective Optimization Algorithms인용 수 5

한 줄 요약

이 논문은 사용자에 의해 사전에 지정된 트레이드오프 없이 개별 샘플에 대해 잘 분포된 파레토 최적 해 근사치를 예측할 수 있도록 신경망을 훈련시키는 다목적 학습 프레임워크를 제안한다. 동적이고 기울기 기반의 손실 가중치를 사용한 초체적량 최대화를 통해, 기존의 고정된 스칼라화 가중치에 의존하는 최신 기술들보다 비대칭 파레토 최적 해를 더 잘 커버하는 성능을 달성한다.

ABSTRACT

Real-world problems are often multi-objective with decision-makers unable to specify a priori which trade-off between the conflicting objectives is preferable. Intuitively, building machine learning solutions in such cases would entail providing multiple predictions that span and uniformly cover the Pareto front of all optimal trade-off solutions. We propose a novel approach for multi-objective training of neural networks to approximate the Pareto front during inference. In our approach, the neural networks are trained multi-objectively using a dynamic loss function, wherein each network's losses (corresponding to multiple objectives) are weighted by their hypervolume maximizing gradients. We discuss and illustrate why training processes to approximate Pareto fronts need to optimize on fronts of individual training samples instead of on only the front of average losses. Experiments on three multi-objective problems show that our approach returns outputs that are well-spread across different trade-offs on the approximated Pareto front without requiring the trade-off vectors to be specified a priori. Further, results of comparisons with the state-of-the-art approaches highlight the added value of our proposed approach, especially in asymmetric Pareto fronts.

연구 동기 및 목표

• 실제 응용에서 사용자 선호도가 사전에 알려져 있지 않은 상황에서 다목적 의사결정 문제에 대해 잘 분포된 다채로운 파레토 최적 해를 생성하는 데 도전하는 것.
• 선형 스칼라화와 고정된 트레이드오프 접근법이 비대칭 파레토 최적 해를 효과적으로 커버하지 못하는 한계를 극복하는 것.
• 사용자가 선호도 벡터를 사전에 지정할 필요 없이, 각 샘플에 대해 여러 개의 근사 최적 트레이드오프를 출력하도록 모델을 훈련시켜 사후 의사결정을 가능하게 하는 것.
• 표본 간 평균 손실에 기반한 훈련만으로는 개별 샘플의 파레토 최적 해에 대해 잘 분포된 예측을 달성하는 데 부족함을 입증하는 것.
• 다양한 기계학습 모델, 특히 신경망에 적용 가능한 확장성 있고 일반화 가능한 방법을 제공하는 것.

제안 방법

• 모든 네트워크의 손실이 초체적량 최대화 기울기에 기반한 동적 손실 가중치를 갖는 동적 손실 함수를 사용하여, 각 샘플에서 다수의 목표를 동시에 최적화하는 방식이다.
• 목표 공간에서 파레토 최적 해에 대해 균일하게 분포된 예측을 보장하기 위해 초체적량(HV)을 최적화 목표로 사용한다.
• 각각 파레토 최적 해에서 하나의 예측을 생성하는 책임을 지닌 별도의 신경망 세트를 훈련시키며, 손실 가중치는 HV 기울기 기반으로 동적으로 조정된다.
• 목표 공간에서 초체적량을 정의하기 위해 기준점(reference point)을 사용하며, 실용적인 기본값으로 무작위로 초기화된 네트워크의 스케일링된 손실을 권장한다.
• 최적화 과정을 통해 초체적량 최대화를 통해 자연스럽게 전체 파레토 최적 해를 탐색함으로써 트레이드오프 벡터를 사전에 지정하지 않도록 한다.
• 이 프레임워크는 임의의 수의 목표와 예측에 적용 가능하며, 높은 차원에서는 근사 기법을 통해 계산 복잡도를 관리한다.

실험 결과

연구 질문

• RQ1 초체적량 최대화를 사용한 다목적 훈련이 사용자에 의해 사전 지정된 트레이드오프 없이도 파레토 최적 해 전체에 걸쳐 잘 분포된 예측을 생성할 수 있는가?
• RQ2 파레토 최적 해가 비대칭일 경우, HV 기반 훈련은 고정된 스칼라화 방법보다 어떻게 비교되는가?
• RQ3 표본 간 평균 손실에 기반한 훈련은 개별 샘플의 파레토 최적 해에 대해 잘 분포된 예측을 달성하는 데 충분한가?
• RQ4 기존 스칼라화 방법이 최적 해의 비대칭성으로 인해 실패하는 경우, 제안된 방법이 전체 파레토 최적 해를 효과적으로 커버할 수 있는가?
• RQ5 손실 스케일링과 기준점 선택은 파레토 최적 해 근사의 품질과 커버리지에 어떤 영향을 미치는가?

주요 결과

• 제안된 HV 최대화 방법은 사전 지정된 트레이드오프에 의존하는 최신 기술들보다 비대칭 파레토 최적 해에 대해 훨씬 더 우수한 커버리지를 달성한다.
• 실험 결과, 표본 간 평균 손실에 기반한 훈련은 볼록 또는 오목한 경우를 포함해 개별 샘플의 최적 해에 대해 잘 분포된 예측을 생성하지 못함을 보여준다.
• 사용자가 트레이드오프 벡터를 사전에 정의할 필요 없이, 파레토 최적 해 전체에 걸쳐 균일하게 분포된 예측을 성공적으로 생성한다.
• 손실을 초기 크기에 기반해 스케일링한 후에도 고정된 스칼라화 방법보다 성능이 뛰어나, 문제의 근본 원인이 척도와 관련된 것이 아니라 구조적 문제임을 시사한다.
• 기준점을 임의로 초기화된 네트워크의 스케일링된 손실을 사용해 효과적으로 설정할 수 있어 하이퍼파rameter 튜닝을 단순화한다.
• 다양한 문제들, 특히 다목적 세그멘테이션과 신경 스타일 전이에 대해 일반화 가능함을 입증하며 실제 응용 가능성도 보여준다.