[논문 리뷰] Online Semi-Supervised Learning with Bandit Feedback

Sohini Upadhyay, Mikhail Yurochkin외 3명|arXiv (Cornell University)|2020. 10. 23.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 7

한 줄 요약

이 논문은 그래프 컬러지언트 네트워크(GCN)와 문맥 밴딧을 통합하여 부분적으로 보상된 피드백(레이블이 누락되거나 이진 보상(1/0)만 관찰됨)을 처리하는 새로운 온라인 준지도 학습 알고리즘 GCNUCB를 제안한다. 그래프 구조를 가진 미레이블 데이터를 활용해 특징 학습하고 선형 밴딧 프레임워크 내에서 보정된 보상의 범위를 제한함으로써 GCNUCB는 LINUCB 및 ROGCN 기준선보다 뛰어난 성능을 보이며, 특히 레이블 희소성 수준이 높을 경우에 유의미한 성능 향상을 보인다. CNAE-9 데이터셋에서 레이블의 25%가 누락된 조건에서 최대 77%의 정확도를 기록한다.

ABSTRACT

We formulate a new problem at the intersectionof semi-supervised learning and contextual bandits,motivated by several applications including clini-cal trials and ad recommendations. We demonstratehow Graph Convolutional Network (GCN), a semi-supervised learning approach, can be adjusted tothe new problem formulation. We also propose avariant of the linear contextual bandit with semi-supervised missing rewards imputation. We thentake the best of both approaches to develop multi-GCN embedded contextual bandit. Our algorithmsare verified on several real world datasets.

연구 동기 및 목표

• 진정한 레이블이 누락되고 이진 피드백(1/0)만 이용 가능한 부분적으로 관찰된 보상이 있는 온라인 학습의 과제를 해결한다.
• 특히 GCN를 활용한 준지도 학습 기법을 온라인 밴딧 환경에 통합하여, 미레이블 데이터를 활용해 일반화 성능을 향상시킨다.
• 성능 저하를 방지하기 위해 보정 오차를 제한하면서도, 누락된 보상을 효과적으로 보정하는 방법을 개발한다.
• GCN의 표현 학습 능력과 문맥 밴딧의 불확실성 하에서의 온라인 의사결정 능력을 융합한다.
• 다양한 수준의 레이블 누락 조건에서 실제 데이터셋에 대해 제안된 방법을 평가하여, 강인성과 확장성의 가능성을 입증한다.

제안 방법

• 레이블이 누락된 경우에도 레이블을 라플라시안 그래프 정규화를 통해 미레이블 데이터를 통해 전파할 수 있는 준지도 학습 확장형 GCN인 ROGCN를 제안한다.
• 보정된 보상에 대한 범위를 포함한, 선형 상한 신뢰도(LINUCB) 밴딧 알고리즘의 변종인 BILINUCB를 도입하여 오류 전파를 줄인다.
• 각 암의 컨텍스트가 클래스에 해당하는 이진 GCN 헤드에서 유도되는 방식으로, GCN 기반 컨텍스트 특징과 문맥 밴딧 프레임워크를 통합하여 GCNUCB를 설계한다.
• t-SNE 시각화를 통해 학습된 컨텍스트 및 가중치 벡터 공간을 비교함으로써, GCNUCB가 LINUCB보다 더 조밀하고 분리 가능한 클러스터를 학습함을 확인한다.
• 정확한 보정 방법(예: 무작위 보정)을 사용할 경우에도 학습 안정성을 확보하기 위해 보정에 대한 범위를 적용한다.
• 시각화에 집중하기 위해 밴딧 탐색 항목의 α 값을 0으로 설정하여 탐색을 탐욕적 방식으로 전환한다. 이는 컨텍스트-가중치 정렬의 품질을 평가하기 위함이다.

실험 결과

연구 질문

• RQ1 그래프 컬러지언트 네트워크는 부분 피드백이 있는 온라인 준지도 학습에 효과적으로 적용될 수 있는가?
• RQ2 진정한 레이블이 누락된 상황에서 보정된 보상의 범위 제한은 문맥 밴딧의 강인성을 어떻게 향상시키는가?
• RQ3 GCN 기반 표현 학습과 문맥 밴딧 기반 의사결정의 융합은 부분적으로 보상된 환경에서 성능 향상에 얼마나 기여하는가?
• RQ4 보정이 정확하지 않을 경우, 특히 레이블 희소성이 높을 때 보정 범위는 학습 안정성과 정확도에 어떤 영향을 미치는가?
• RQ5 그래프 구조를 가진 표현 방식은 원시 특징에 비해 밴딧의 의사결정 공간에서 클래스별 컨텍스트를 더 잘 분리하는가?

주요 결과

• CNAE-9 데이터셋에서 25%의 레이블이 누락된 조건에서 GCNUCB는 77%의 정확도를 기록하며, LINUCB(68%) 및 기타 기준선보다 뚜렷하게 뛰어난 성능을 보였다.
• 레이블 누락 비율이 75%일 경우, k-means 보정을 사용한 BILINUCB는 57.16%의 정확도를 기록했고, 무작위 보정은 49.77%로 떨어져 보정의 품질과 보정 범위의 중요성을 입증했다.
• t-SNE 시각화 결과 GCNUCB가 더 조밀하고 분류에 유리한 클러스터를 학습하며, 가중치 벡터가 올바른 레이블 클러스터에 정렬되어 있음을 확인하여 더 나은 암 선택이 가능함을 보였다.
• 정확한 방법(예: k-means)을 사용할 경우 보정 범위는 미미한 성능 향상만 제공하지만, 정확도가 떨어지는 보정 방법(예: 무작위 보정)에서는 상당한 성능 향상이 이루어짐을 확인했다.
• GCNUCB는 표준 LINUCB 및 ROGCN 기준선과 비교해 모든 데이터셋과 레이블 누락 수준에서 일관되게 뛰어난 성능을 보였다.
• BILINUCB는 75%의 레이블 누락 조건에서도 안정적인 성능을 유지하며 고도의 레이블 부족 조건에서도 강인함을 입증했고, 표준 LINUCB는 유사 조건에서 성능 저하가 심각하게 발생함을 확인했다.