[논문 리뷰] Interactive Evolutionary Multi-Objective Optimization via Learning-to-Rank

Ke Li, Guiyu Lai외 1명|arXiv (Cornell University)|2022. 04. 06.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 의사결정자(DM)의 선호도를 전체 쌍별 비교를 통해 모델링하는 학습-순위(learning-to-rank) 신경망을 사용하여 일반적인 상호작용형 다목적 진화 최적화 프레임워크를 제안한다. 기존의 EMO 알고리즘에 플러그인 모듈을 통합하여 선호도 피드백을 통합함으로써, DM이 선호하는 해들(SOI)로의 탐색을 효과적으로 이끌어내며, 최대 10개의 목표를 가진 48개의 기준 문제에서 뛰어난 성능을 보였다.

ABSTRACT

In practical multi-criterion decision-making, it is cumbersome if a decision maker (DM) is asked to choose among a set of trade-off alternatives covering the whole Pareto-optimal front. This is a paradox in conventional evolutionary multi-objective optimization (EMO) that always aim to achieve a well balance between convergence and diversity. In essence, the ultimate goal of multi-objective optimization is to help a decision maker (DM) identify solution(s) of interest (SOI) achieving satisfactory trade-offs among multiple conflicting criteria. Bearing this in mind, this paper develops a framework for designing preference-based EMO algorithms to find SOI in an interactive manner. Its core idea is to involve human in the loop of EMO. After every several iterations, the DM is invited to elicit her feedback with regard to a couple of incumbent candidates. By collecting such information, her preference is progressively learned by a learning-to-rank neural network and then applied to guide the baseline EMO algorithm. Note that this framework is so general that any existing EMO algorithm can be applied in a plug-in manner. Experiments on $48$ benchmark test problems with up to 10 objectives fully demonstrate the effectiveness of our proposed algorithms for finding SOI.

연구 동기 및 목표

• 고차원 다목적 최적화에서 의사결정자(DM)가 선호하는 해들(SOI)을 식별하는 데 도전하는 것.
• 전체 파레토 경계에 걸쳐 균일한 수렴성과 다양성을 추구하는 전통적인 EMO 방법의 한계를 극복하는 것.
• 인간이 참여하는 피드백을 어떤 EMO 알고리즘에도 통합할 수 있는 일반적이고 알고리즘에 종속되지 않는 프레임워크를 개발하는 것.
• 직접적인 선호도 입력 대신 간접적인 선호도 추출(쌍별 비교)을 통해 DM의 인지적 부담을 줄이는 것.
• 기계학습을 통해 점진적으로 선호도를 학습하고 적용함으로써 SOI 향한 탐색 효율성과 정확성을 향상시키는 것.

제안 방법

• 상담(피드백 수집), 선호도 추출(잠재 선호도 모델링), 최적화(학습된 선호도를 통한 안내)의 세 모듈로 구성된 프레임워크 도입.
• DM이 두 후보 중에서 선호하는 해를 선택하는 방식의 전체 쌍별 비교를 간접 선호도 피드백으로 사용.
• 쌍별 비교 데이터로부터 DM의 잠재 선호도를 모델링하기 위해 학습-순위(LTR) 신경망을 훈련.
• 어떤 EMO 알고리즘(NSGA-II, MOEA/D, IBEA 등)의 환경 선택 메커니즘에 학습된 선호도 모델을 통합.
• 관측된 쌍별 선호도 기반으로 순위 손실을 최소화하기 위해 경사 하강법을 적용하여 LTR 모델을 최적화.
• 각 알고리즘의 환경 선택 과정에 맞는 맞춤형 선택 기준으로 학습된 선호도를 변환함으로써 다양한 EMO 알고리즘과의 호환성을 확보.

실험 결과

연구 질문

• RQ1 학습-순위 모델이 상호작용형 EMO에서 쌍별 비교로부터 인간의 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 프레임워크는 비선호도 기반 EMO에 비해 DM이 선호하는 해(SOI)로의 수렴성을 얼마나 향상시키는가?
• RQ3 상호작용 도중 노이즈가 있거나 일관성 없는 선호도 피드백이 있을 경우, 프레임워크의 성능은 어느 정도 견딜 수 있는가?
• RQ4 알고리즘에 특화된 설계 없이도, 파레토 기반, 지표 기반, 분해 기반의 다양한 EMO 알고리즘에 일반화될 수 있는가?
• RQ5 선호도 추출 과정에서의 노이즈 수준이 최종 해 집합의 근사 정확도에 어떤 영향을 미치는가?

주요 결과

• I-MOEA/D/LTR, I-NSGA-II/LTR, I-R2-IBEA/LTR 변종은 최대 10개의 목표를 가진 48개의 기준 문제 전반에서 DM이 선호하는 해들로 일관되게 수렴한다.
• 노이즈가 약간 있는 경우에도 프레임워크는 강건성을 보이며, 노이즈 수준(κ)이 증가하더라도 노이즈가 없는 '오라클' 경우와 유사한 근사 오차를 유지한다.
• I-MOEA/D/LTR는 높은 노이즈 수준(낮은 κ)에 민감하지만, 여전히 만족스러운 성능을 유지하여 중간 정도의 강건성을 보인다.
• I-NSGA-II/LTR와 I-R2-IBEA/LTR는 노이즈에 매우 강건하며, 진화 과정이 정밀한 선호도 신호에 크게 의존하지 않는다는 점을 시사한다.
• 학습-순위 모델은 DM 선호도를 효과적으로 포착하고 적용하여, 표준 EMO에 비해 SOI 향한 탐색 효율성을 크게 향상시킨다.
• 프레임워크는 일반화 가능하며, 플러그인 아키텍처를 통해 다양한 EMO 알고리즘에 원활하게 통합될 수 있다.