[논문 리뷰] Deep Reinforcement Learning for Producing Furniture Layout in Indoor Scenes

Xinhan Di, P. L. Yu|arXiv (Cornell University)|2021. 01. 19.

Building Energy and Comfort Optimization참고 문헌 25인용 수 4

한 줄 요약

이 논문은 실내 가구 레이아웃을 마르코프 결정 과정(MDP)으로 공식화하는 딥 강화학습(DRL) 프레임워크를 제안한다. 이로 인해 가구의 위치와 크기를 동시에 최적화할 수 있으며, 고유의 시뮬레이터에서 에이전트를 훈련시켜 기존 최첨단 생성 모델에 비해 훨씬 높은 정확도를 달성한다. 실제 산업 데이터셋에서 IoU 점수는 최대 0.962에 이를 정도이다.

ABSTRACT

In the industrial interior design process, professional designers plan the size and position of furniture in a room to achieve a satisfactory design for selling. In this paper, we explore the interior scene design task as a Markov decision process (MDP), which is solved by deep reinforcement learning. The goal is to produce an accurate position and size of the furniture simultaneously for the indoor layout task. In particular, we first formulate the furniture layout task as a MDP problem by defining the state, action, and reward function. We then design the simulated environment and train reinforcement learning agents to produce the optimal layout for the MDP formulation. We conduct our experiments on a large-scale real-world interior layout dataset that contains industrial designs from professional designers. Our numerical results demonstrate that the proposed model yields higher-quality layouts as compared with the state-of-art model. The developed simulator and codes are available at \url{https://github.com/CODE-SUBMIT/simulator1}.

연구 동기 및 목표

• 기존 생성 모델이 산업 내부 디자인에서 가구의 크기와 위치를 근사적으로만 생성하는 데서 비롯되는 한계를 해결하기 위해.
• 전문가 디자이너의 순차적이고 반복적인 의사결정 과정을 마르코프 결정 과정(MDP)으로 모델링하기 위해.
• 정확한 가구 레이아웃 생성을 위한 DRL 에이전트의 훈련 및 평가를 지원하는 시뮬레이션 환경을 개발하기 위해.
• 고품질의 실내 환경 레이아웃을 위한 가구의 위치와 크기를 동시에 최적화하는 딥 강화학습 에이전트를 훈련시키기 위해.
• 실제 산업 디자인 데이터 기반으로 기존 최첨단 모델을 초월하는 정량적 및 정성적 지표를 확보하기 위해.

제안 방법

• 가구 레이아웃 작업을 정의된 상태, 행동, 보상 함수를 갖는 마르코프 결정 과정(MDP)으로 공식화한다.
• DRL 에이전트의 훈련 및 평가를 위한 제어된 환경에서의 훈련을 가능하게 하는 고유의 실내 환경 시뮬레이터를 개발한다.
• 시각적 상태 표현을 처리하고 행동을 선택하기 위해 컨볼루션 및 완전 연결 계층을 갖춘 딥 Q네트워크(DQN)를 사용하는 DRL 에이전트를 구현한다.
• 행동는 실내 공간 내에서 이산 단위로 가구의 위치(x, y)와 크기(너비, 높이)를 조정하는 것을 포함한다.
• 보상 함수는 예측된 레이아웃과 진짜 레이아웃 간의 교차율(IoU)을 최대화하도록 설계된다.
• 학습 과정은 타겟 네트워크와 경험 재현을 활용하여 학습 안정성을 높이며, Q값 추정과 타겟 값 예측을 위한 별도의 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 전문가 내부 디자이너의 가구 레이아웃을 위한 순차적 의사결정 과정을 효과적으로 모델링할 수 있는가?
• RQ2 DRL 에이전트는 시뮬레이션된 실내 환경에서 가구의 위치와 크기를 동시에 고정밀도로 최적화할 수 있는가?
• RQ3 제안된 DRL 기반 레이아웃 생성 방법은 위치 및 크기의 IoU 측면에서 기존 최첨단 생성 모델과 비교해 어떻게 성능을 내는가?
• RQ4 훈련된 에이전트는 임의의 초기 가구 위치에 대해 일반화되어 진짜 레이아웃으로 수렴할 수 있는가?
• RQ5 고유의 시뮬레이터는 산업 내부 디자인 응용 분야에서 현실적이고 확장 가능한 훈련을 얼마나 잘 지원하는가?

주요 결과

• 제안된 DRL 모델은 식당실에서 평균 IoU 0.962, 발코니에서 0.961을 기록하여 기존 최첨단 모델에 비해 뚜렷이 뛰어난 성능을 보였다.
• 모델은 정확한 크기와 위치를 갖춘 가구 레이아웃을 생성하는 반면, 기준 모델은 근사적인 치수만 예측한다.
• 2,000개의 임의의 초기 위치에서의 평가에서 에이전트는 진짜 레이아웃으로 가구를 성공적으로 이동시켜 초기화에 대한 강건성을 입증했다.
• 침실, 욕실, 주방, 타탄마 방을 포함한 여덟 가지 방 유형에서 기존 생성 모델을 일관되게 뛰어넘었다.
• 시뮬레이터와 코드는 https://github.com/CODE-SUBMIT/simulator1 에 공개되어 재현성과 향후 연구를 지원한다.
• 모든 평가된 방 유형에서 최고의 IoU를 기록했으며, 점수 범위는 0.956에서 0.962까지였으며, 이는 강력한 일반화 능력과 정확도를 시사한다.