[논문 리뷰] Deep Reinforcement Learning for Image Hashing

Yuxin Peng, Jian Zhang외 1명|arXiv (Cornell University)|2018. 02. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 54인용 수 7

한 줄 요약

이 논문은 순환 신경망(RNN)을 에이전트로 사용하여 이진 해시 코드를 단계적으로 학습하고 이전 오류로부터 피드백을 통합함으로써 이미지 해싱을 순차적 의사결정 과정으로 모델링하는 새로운 방법인 딥 강화학습을 통한 이미지 해싱(DRLIH)을 제안한다. 이 방법은 순차적 학습과 액션 그룹화를 통해 해시 함수 간 상관관계를 향상시켜, 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 방법 대비 평균 MAP 향상 폭이 0.026~0.206에 이르렀다.

ABSTRACT

Deep hashing methods have received much attention recently, which achieve promising results by taking advantage of the strong representation power of deep networks. However, most existing deep hashing methods learn a whole set of hashing functions independently, while ignore the correlations between different hashing functions that can promote the retrieval accuracy greatly. Inspired by the sequential decision ability of deep reinforcement learning, we propose a new Deep Reinforcement Learning approach for Image Hashing (DRLIH). Our proposed DRLIH approach models the hashing learning problem as a sequential decision process, which learns each hashing function by correcting the errors imposed by previous ones and promotes retrieval accuracy. To the best of our knowledge, this is the first work to address hashing problem from deep reinforcement learning perspective. The main contributions of our proposed DRLIH approach can be summarized as follows: (1) We propose a deep reinforcement learning hashing network. In the proposed network, we utilize recurrent neural network (RNN) as agents to model the hashing functions, which take actions of projecting images into binary codes sequentially, so that the current hashing function learning can take previous hashing functions' error into account. (2) We propose a sequential learning strategy based on proposed DRLIH. We define the state as a tuple of internal features of RNN's hidden layers and image features, which can reflect history decisions made by the agents. We also propose an action group method to enhance the correlation of hash functions in the same group. Experiments on three widely-used datasets demonstrate the effectiveness of our proposed DRLIH approach.

연구 동기 및 목표

• 기존의 깊이 학습 해싱 방법이 상호간의 상관관계를 忽시하는 한계를 해결하기 위해, 상호 상관관계를 고려함으로써 검색 정확도를 향상시키는 데 목적이 있다.
• 해시 코드 생성의 순차적 성격을 모델링함으로써 딥 강화학습(DRL)을 이미지 해싱에 적용하는 것을 탐색하는 데 목적이 있다.
• 에이전트(RNN)가 이전 행동과 피드백을 기반으로 결정보를 내릴 수 있도록 하는 새로운 DRL 기반 프레임워크를 설계하여 전체 검색 성능을 향상시키는 데 목적이 있다.
• 순차적 학습 및 액션 그룹화 전략이 해시 코드의 관련성과 검색 정확도를 향상시키는 데 미치는 영향을 검증하는 데 목적이 있다.

제안 방법

• 제안된 DRLIH 프레임워크는 RNN 기반 정책 네트워크를 사용하여 에이전트 역할을 수행하며, 이미지의 이진 해시 코드를 한 비트씩 순차적으로 생성한다.
• 상태 표현은 이미지 특징과 내부 RNN 히든 상태를 조합하여 이전 결정보와 오류의 역사를 인코딩한다.
• 훈련을 이끄는 계층적 보상 함수를 설계하였으며, 한 비트의 즉각적 정확도를 위한 보상과 전체 순서 정렬 성능을 위한 보상이 별도로 존재한다.
• 액션 그룹 메커니즘을 도입하여, 동일 그룹 내 비트들을 동시에 생성함으로써 비트 간 상관관계를 강화한다.
• 누적 보상을 최대화하기 위해 정책 기반 강화학습 방법을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 특징 표현 네트워크와 정책 네트워크를 통합하며, 정책 네트워크는 순차적 의사결정을 통해 이미지 특징을 이진 코드로 매핑하는 데 학습한다.

실험 결과

연구 질문

• RQ1 해시 함수 학습을 순차적 의사결정 과정으로 모델링함으로써, 딥 강화학습이 이미지 해싱에 효과적으로 적용될 수 있는가?
• RQ2 이전 해시 함수의 이전 결정보와 오류를 고려함으로써, 독립적 학습 대비 검색 정확도가 어떻게 향상되는가?
• RQ3 액션 그룹화가 해시 함수 간 상관관계 향상과 검색 성능 향상에 미치는 영향은 무엇인가?
• RQ4 순차적 학습 전략이 독립적 학습 대비 다양한 데이터셋에서 순서 정렬 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• CIFAR10 데이터셋에서 DRLIH는 평균 MAP 0.842를 기록하여, 최고의 베이스라인(Baseline_ng) 대비 0.023 향상되고, Baseline_noseq 대비 0.043 향상되었다.
• NUS-WIDE 데이터셋에서 DRLIH는 평균 MAP 0.842를 기록하여, 최고의 베이스라인(Baseline_ng) 대비 절대적 향상 폭 0.027을 기록했고, Baseline_noseq 대비 동일한 수준의 향상 폭을 기록했다.
• MIRFlickr 데이터셋에서 DRLIH는 평균 MAP 0.808을 기록하여, HashNet*(0.782) 대비 0.026 향상되었고, 수작업 특징을 사용한 SDH(0.602) 대비 0.206 향상되었다.
• 모든 세 데이터셋에서 해밍 반경 2 이내 정밀도가 가장 높게 유지되어, DRLIH의 뛰어난 검색 품질을 확인할 수 있었다.
• 상위-k 결과의 정밀도와 정밀도-재현율 곡선을 통해 DRLIH가 모든 재현 수준에서 모든 최신 기술 수준의 방법을 능가하는 것으로 나타났다.
• 절단 실험 결과, 액션 그룹 메커니즘과 순차적 학습 전략 모두 성능 향상에 중대한 기여를 했으며, DRLIH는 모든 메트릭에서 두 베이스라인 변형을 초월하였다.