[논문 리뷰] Adaptive Sequence Submodularity

Marko Mitrovic, Ehsan Kazemi외 3명|arXiv (Cornell University)|2019. 02. 15.

Algorithms and Data Compression참고 문헌 55인용 수 5

한 줄 요약

이 논문은 불확실성 하에서 적응적이고 순차적인 의사결정을 통합한 서브모듈라 최적화 프레임워크인 적응적 시퀀스 서브모듈라리티를 소개한다. 이는 이론적 보장을 갖춘 적응적 그레디 정책을 제안하며, 신경망 기반 모델을 사용하여 아마존 제품 추천 및 위키백과 링크 예측 작업에서 향상된 성능을 입증한다.

ABSTRACT

In many machine learning applications, one needs to interactively select a sequence of items (e.g., recommending movies based on a user's feedback) or make sequential decisions in a certain order (e.g., guiding an agent through a series of states). Not only do sequences already pose a dauntingly large search space, but we must also take into account past observations, as well as the uncertainty of future outcomes. Without further structure, finding an optimal sequence is notoriously challenging, if not completely intractable. In this paper, we view the problem of adaptive and sequential decision making through the lens of submodularity and propose an adaptive greedy policy with strong theoretical guarantees. Additionally, to demonstrate the practical utility of our results, we run experiments on Amazon product recommendation and Wikipedia link prediction tasks.

연구 동기 및 목표

• 불확실성 하에서 항목의 순서와 적응적 피드백이 모두 중요한 순차적 의사결정 최적화 문제에 대응한다.
• 서브모듈라리티 이론을 적응적 요소를 고려한 순서 기반으로 확장하여, 추천 시스템과 같은 복잡한 실세계 환경에서의 실현 가능한 최적화를 가능하게 한다.
• 피드백을 고려한 순차적 선택을 통합하는 통합 프레임워크를 개발하여 순서 의존성과 동적 상태 갱신을 포괄한다.
• 시퀀스 서브모듈라리티 맥락에서 적응적 그레디 정책에 대한 이론적 보장을 제공한다.
• 실세계 추천 및 링크 예측 작업을 통한 실험을 통해 실용적 유용성을 입증한다.

제안 방법

• 피드백에 기반해 상태가 적응적으로 노출되는 과정으로서 순차적 의사결정을 모델링하는 새로운 적응적 시퀀스 서브모듈라리티 형식을 제안한다.
• 순서와 숨겨진 상태에 모두 의존하는 유틸리티 함수를 정의하며, 이는 순서에 따라 감소 수익을 보인다.
• 피드백에 기반해 관측되지 않은 상태에 대한 믿음을 갱신하면서 항목을 순차적으로 선택하는 적응적 그레디 정책을 도입한다.
• 입력으로 관측된 항목 상태의 벡터를 받아 다음 항목에 대한 확률 분포를 출력하는 신경망 아키텍처(전방향 전달 또는 LSTM)를 사용해 유틸리티 함수를 모델링한다.
• 적응적 추천 루프를 구현한다: 방문하지 않은 항목 중 확률이 가장 높은 항목을 추천하고, 피드백(구매/방문)을 받은 후 입력 상태를 갱신하며 k개의 추천을 반복한다.
• 조기 정지와 배치 정규화를 사용하여 카테고리형 교차 엔트로피 손실로 모델을 훈련하며, 80/20 훈련/검증 분할을 사용하고, 저자료 환경에서는 배치 크기를 다양하게 조정한다.

실험 결과

연구 질문

• RQ1 서브모듈라리티는 순서 의존성과 동적 피드백을 모두 포괄하는 적응적 순차적 의사결정을 모델링하기 위해 확장될 수 있는가?
• RQ2 순서 기반 서브모듈라 함수에 대한 적응적 그레디 정책은 근사 비율 측면에서 강력한 이론적 보장을 제공하는가?
• RQ3 실세계 추천 작업에서 비적응적 또는 집합 기반 서브모듈라 모델에 비해 적응적 시퀀스 서브모듈라리티는 어떻게 비교되는가?
• RQ4 제한된 피드백 환경에서 신경망 기반 모델은 적응적 시퀀스 서브모듈라리티 설정에서 유틸리티 함수를 효과적으로 학습할 수 있는가?
• RQ5 제품 추천 및 링크 예측 작업에서 순서 모델링과 집합 모델링 간의 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 적응적 그레디 정책는 적응적 시퀀스 서브모듈라리티 프레임워크 하에서 강력한 이론적 근사 보장을 달성한다.
• 적응적 시퀀스 서브모듈라리티 프레임워크 기반으로 훈련된 신경망 기반 모델은 아마존 제품 추천 및 위키백과 링크 예측 작업에서 비적응적 기준 모델을 모두 능가한다.
• 적응적 모델은 피드백을 활용해 향후 예측을 정교화함으로써 비적응적 추천에 비해 일관되게 성능 향상을 이룬다.
• 위키백과 링크 예측 작업에서, 적응적 접근은 추천 과정 중 유효한 경로 제약 조건을 유지할 수 있어 비적응적 모델을 능가한다.
• LSTM 기반 모델은 순차적 모델링에서 전방향 전달 네트워크보다 더 뛰어난 성능을 보였으며, 특히 사용자 탐색 시퀀스의 장기적 의존성을 잘 포착하는 데 유리했다.
• 조기 정지와 배치 크기 적응 덕분에, 훈련 데이터의 1%만 사용하는 저자료 환경에서도 프레임워크는 여전히 효과적이며 성능이 유지된다.